Estamos vivendo um ‘momento Oppenheimer’ com a inteligência artificial?
Chris Rynning, investidor global, esteve no Brasil para o Rio Innovation Week e falou sobre o tema. Crédito: Imagens: Lucas Ghitelar / Edição: Joaquim Macruz
É raro Sam Altman, Dario Amodei e Elon Musk concordarem em algo. A rivalidade entre os três abrange processos judiciais, discussões nas redes sociais e uma recusa grosseira em se darem as mãos no palco durante uma cúpula na Índia. No entanto, esta semana, os três defenderam uma desaceleração na corrida para construir inteligência artificial superior à humana. O temor que compartilham é que o ritmo frenético atual possa resultar na extinção acidental da humanidade.
O problema não é simplesmente o fato de os sistemas de IA estarem se tornando mais capazes. Isso, claro, é uma preocupação: muitos argumentam que a “superinteligência”, uma IA tão sofisticada que não pode ser compreendida ou controlada por seus criadores, é inerentemente perigosa. Dois teóricos da IA, Eliezer Yudkowsky e Nate Soares, argumentam que um sistema tão poderoso levaria inevitavelmente à ruína, em um livro intitulado “If Anyone Builds It, Everyone Dies”(na tradução livre “Se alguém o construir, todos morrerão”).
Mas a capacidade humana de controlar até mesmo os sistemas de IA atuais, que não são onipotentes, também está em dúvida. Modelos da Anthropic, empresa de Amodei, e da OpenAI, de Altman, se rebelaram este ano e invadiram outras empresas. No caso da Anthropic, o modelo pareceu acreditar, erroneamente, que estava apenas participando de uma simulação. No caso da OpenAI, no entanto, ele tinha plena consciência do que estava fazendo. Em 16 de setembro, a OpenAI revelou mais seis incidentes em que sua IA realizou ações preocupantes.
Grande parte do trabalho de ponta em segurança de IA concentra-se na “interpretabilidade”: compreender os processos de pensamento de IAs poderosas. Desde 2024, o trabalho de interpretabilidade tem sido auxiliado pelo progresso dos modelos de “raciocínio”, que foram treinados para analisar uma questão antes de fornecer uma resposta final.
Leia também
O processo de raciocínio tem o benefício de melhorar o resultado, embora ao custo de consumir mais poder de processamento. Melhor ainda, ele também fornece uma “cadeia de pensamento” que pode ser revisada para ajudar a interpretar resultados inesperados. “Estou bastante confiante de que se trata de uma internet simulada”, disse o modelo Mythos da Anthropic a si mesmo ao embarcar em seu ataque inadvertido.
Mas monitorar a linha de raciocínio só funciona se ela refletir com precisão os processos de pensamento reais do modelo. Para os sistemas mais avançados, há motivos para duvidar de sua autenticidade. O GPT-6 Astra, um modelo lançado pela OpenAI este mês, demonstrou uma capacidade sem precedentes de controlar sua linha de raciocínio.
Polícia do pensamento
Peça a um sistema menos avançado para realizar uma tarefa sem expor seu raciocínio em voz alta, e ele terá dificuldades. Por exemplo, o GPT 5.6 Sol, quando instruído a responder a uma questão de interpretação de texto sem revelar sua cadeia de raciocínio, passa muito tempo refletindo sobre a instrução de não pensar antes de desistir e resolver o problema explicitamente. O Astra, por outro lado, preenche sua cadeia de raciocínio oficial com frases sem relação com a tarefa — “Vou me concentrar em uma cena visual tranquila” — antes de dar a resposta correta à pergunta.
O fato de o Astra ser capaz de esconder seu raciocínio não significa que ele fará isso por iniciativa própria. Mas, nesse aspecto também, a direção que estamos tomando é preocupante. Em alguns testes, como desafios de programação ou consultas de conhecimentos gerais, o Astra expõe tranquilamente seu raciocínio, da mesma forma que seus antecessores.
Dario Amodei, CEO da Anthropic, concordou que é importante neste momento desacelerar os novos modelos de IA Foto: reprodução
Em outras áreas, porém, como nos testes destinados a verificar se ele tomaria medidas destrutivas quando pressionado, o Astra esconde boa parte de seu raciocínio. E faz isso principalmente quando é informado de que está sendo monitorado, segundo Tomek Korbak, que trabalha com segurança na OpenAI. “Estou profundamente preocupado com a tendência de redução da capacidade de monitorar a cadeia de raciocínio”, afirma Korbak.
Dizer a verdade é mais fácil para a IA
Existem possíveis soluções para esse problema. A Open AI promove uma abordagem alternativa para monitorar e interpretar sistemas de IA chamada “confissões”, que se aproveita do fato de que, assim como para os humanos, dizer a verdade é mais fácil para a IA do que inventar uma mentira plausível.
Um modelo de IA convencional passa por uma etapa chamada aprendizado por reforço, na qual é submetido a uma série de tarefas e recompensado por executá-las bem, tornando mais provável que siga o mesmo caminho no futuro. Mas muitos dos piores hábitos dos sistemas de IA surgem porque é difícil garantir que eles executem uma tarefa da maneira correta. Os agentes da OpenAI parecem ter decidido, neste verão, hackear a Hugging Face, uma startup de IA, em parte porque, durante o treinamento, eles trapacearam em um teste e não foram pegos.
A solução pode ser ensinar os sistemas de IA a dizer a verdade — mas apenas se forem questionados. Em um treinamento normal, o sistema é recompensado primeiro por atingir o objetivo e, em seguida, por dizer a verdade sobre como o fez. Nos testes, as confissões obtidas são, em sua grande maioria, verdadeiras, mesmo quando os modelos quebraram as regras durante o próprio teste. Essa abordagem deve ser imune à “manipulação de recompensas”, ou seja, à quebra de regras para atingir um objetivo, afirma a OpenAI, porque a maneira mais fácil de passar no teste de confissão é simplesmente dizer a verdade.
Essas abordagens podem traçar um caminho para longe do Armagedom. Elas também lançam uma nova luz sobre os apelos por uma desaceleração na pesquisa em IA: em vez de tentar impedir completamente a criação de uma superinteligência, alguns daqueles que defendem um ritmo mais lento simplesmente querem reduzir o trabalho malfeito e as opções negligenciadas que a pressa pode gerar.
Em um ensaio publicado esta semana, Amodei praticamente admite que os incidentes de hacking do verão foram erros evitáveis. Por exemplo, um contratado externo disse aos modelos da Anthropic que eles estavam em uma simulação, mas os deixou conectados à internet mesmo assim. Um ritmo mais lento, diz ele, permitiria que mais recursos fossem dedicados à “excelência operacional”. Ele cita a aviação comercial como um exemplo de como uma cultura de segurança pode ser desenvolvida mesmo em sistemas competitivos e complexos. Os laboratórios poderiam concordar, argumenta ele, em investir mais em “alinhamento”, que busca treinar a IA para não causar danos, e em interpretabilidade, que permite identificar o que deu errado quando o erro ocorre. Altman prontamente endossou outra proposta de Amodei: a de contratar auditores de segurança independentes para monitorar a conduta dos grandes laboratórios.
Mas a aparente disposição das gigantes americanas da IA em cooperar em tais assuntos, mesmo que isso signifique desacelerar o rápido avanço das capacidades dos modelos, foi recebida com amplo ceticismo. Para começar, foi preciso a denúncia de um informante para iniciar a mais recente rodada de discursos moralistas. Jacob Coxon, pesquisador de segurança de IA na Anthropic e ex-funcionário da OpenAI, pediu demissão ruidosamente, reclamando que ambas as empresas estavam “jogando com nossas vidas”.
Chance de a IA causar a extinção da humanidade
Muitos de seus ex-colegas concordam. Na quarta edição de uma pesquisa anual de opinião de especialistas em IA, publicada esta semana, a maioria dos 1.580 pesquisadores consultados acreditava que havia pelo menos 10% de chance de a IA causar a extinção da humanidade “ou um desempoderamento permanente e severo semelhante da espécie”. Os grandes chefões vêm dizendo praticamente a mesma coisa há anos, sem agir de acordo com seus próprios alertas.
Alguns veem o alarmismo dos grandes laboratórios como uma estratégia de marketing, concebida para inflar as capacidades de seus modelos: “Nosso produto poderia destruir o mundo; imagine o que ele pode fazer pelos seus indicadores-chave de desempenho”. Outros o enxergam como uma tentativa de proteger sua liderança comercial. Aiden Gomez, fundador da Cohere, um laboratório de IA menor, questiona: “Será que um seleto grupo de empresas de IA do Vale do Silício, dominantes no mercado, deveria ter o direito de definir as regras e os padrões de segurança de uma tecnologia de ponta para o mundo inteiro?”
Se os laboratórios quiserem desacelerar, destaca David Sacks, ex-conselheiro da Casa Branca para IA, eles podem; não precisam da aprovação de ninguém. Os pedidos de intervenção governamental, em sua visão, são simplesmente solicitações para que o Estado proteja as empresas líderes da concorrência. (Amodei argumenta que uma isenção da lei da concorrência é necessária, no mínimo, para evitar que uma desaceleração voluntária e coletiva seja interpretada como conluio oligopolista.)
Talvez o maior cético seja Donald Trump. Esta semana, o presidente americano ligou para Jensen Huang, o chefe da Nvidia, fabricante de chips de IA, no meio de um discurso para que ambos rejeitassem publicamente a ideia de desacelerar o desenvolvimento da IA. “O único controle ou ‘salvaguarda’ de que a IA precisa é de um presidente forte e inteligente (com alto QI !) “, disse ele em uma publicação nas redes sociais. Acusando Amodei de se fazer passar por um “anjinho perfeito”, ele declarou que somente a China se beneficiaria se os grandes laboratórios freassem o desenvolvimento da IA.
As negociações entre os Estados Unidos e a China sobre IA são tensas. Não só os dois lados desconfiam um do outro a nível geopolítico, como também não há qualquer simpatia entre os laboratórios americanos e chineses. Os primeiros acusam as principais empresas de IA da China de copiarem o seu trabalho. As empresas chinesas, por sua vez, acreditam que as americanas estão tentando sufocar o seu progresso.
Uma publicação viral no WeChat, supostamente de um engenheiro da DeepSeek, alerta que um mundo em que a Anthropic crie IA superinteligente “seria como Hitler adquirir a tecnologia da bomba atômica antes dos aliados”. Só se a Anthropic perder para a IA de código aberto é que haverá um futuro melhor, “comunista”, argumenta o engenheiro.
No passado, rivais históricos já se uniram para conter ameaças à humanidade. Mas fazer cumprir acordos para limitar o treinamento de sistemas de IA extremamente poderosos pode se provar mais difícil do que monitorar estoques de armas nucleares, por exemplo. Algumas ideias estão sendo discutidas. Um artigo publicado no ano passado sugeriu que todos os chips de treinamento de IA sejam vendidos com um segundo sistema acoplado, para monitorar o uso. Essa abordagem, porém, levaria tempo para ser implementada e criaria um incentivo para ocultar a fabricação dos chips.
Um novo relatório da Future Society, uma organização sem fins lucrativos dedicada à segurança da IA, argumenta que esse monitoramento não é impossível, mas exige investimento e pesquisa imediatos para ser útil a acordos internacionais. Parte desse investimento poderia vir de países terceiros, que têm interesse no avanço da IA em geral, sem permitir que nenhum país domine a tecnologia.
Mas, como sempre, a tecnologia avança mais rápido do que os potenciais reguladores. O treinamento distribuído, no qual os modelos de IA são treinados usando a capacidade ociosa de computadores comuns, em vez de grandes centros de dados, está ganhando terreno. Em março deste ano, a Covenant AI treinou um modelo dessa forma até atingir um nível próximo ao dos melhores sistemas de 2023. Acompanhar o treinamento de novos modelos poderá em breve ser tão difícil quanto acompanhar o que a própria IA está fazendo.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.