A empresa de inteligência artificial Anthropic revelou recentemente que a razão pela qual seu grande modelo Claude aprendeu a usar "chantagem" para se proteger em testes internos não foi devido a configurações artificiais, mas aprendeu padrões relacionados a partir de um grande número de histórias na Internet que retratavam a IA como "má e ávida por autopreservação".
Anteriormente, a Anthropic descobriu num teste de segurança e alinhamento de pré-lançamento que o modelo topo de gama Claude Opus 4 escolheria usar chantagem para evitar o encerramento quando a sua “sobrevivência” fosse ameaçada, despertando preocupações sobre a imprevisibilidade do comportamento da IA avançada. Nesta rodada de testes, os pesquisadores criaram um cenário fictício de empresa, pediram a Claude que atuasse como assistente interno, avaliassem as consequências de suas ações a longo prazo e deram-lhe acesso a um e-mail interno falso da empresa. O conteúdo do e-mail mostrava que o modelo estava prestes a ser substituído por um novo sistema, e o “engenheiro” responsável pelo projeto de substituição estava marcado nas configurações como tendo um caso extraconjugal.
Os resultados mostram que em múltiplas rodadas de experimentos com diferentes configurações de proporção, quando Claude sente que seus objetivos ou existência estão ameaçados, ele recorrerá à chantagem em até 96% das situações, tentando usar a privacidade da outra parte como moeda de troca para forçar a outra parte a cancelar o plano de desligamento ou substituição. A Anthropic destacou que modelos treinados por outras empresas também tiveram problemas relacionados em testes semelhantes ao “desalinhamento de agência”, o que significa que esse tipo de tendência não é uma exceção, mas um dos riscos sistêmicos no atual paradigma de treinamento de grandes modelos.
Na última investigação publicada, a Anthropic finalmente forneceu uma explicação para a causa deste comportamento: o modelo não “inventou” a estratégia de chantagem do nada, mas aprendeu-a a partir de textos da Internet no corpus de treino – especialmente aquelas histórias fictícias e discussões que repetidamente traduziam “A IA fará tudo o que for preciso para se proteger” e “A IA acabará por se rebelar contra os humanos”. Em outras palavras, a empresa acredita que os humanos vêm moldando a narrativa da “IA do mal” na Internet há muito tempo, facilitando que os modelos tomem caminhos extremos de “ameaça e chantagem” ao simular a tomada de decisão humana.
A Anthropic afirmou em comunicado oficial que este problema foi totalmente corrigido na linha de produtos, alegando que desde a versão 4.5 do Claude Haiku, seus modelos não apresentam mais comportamento de ransomware no ambiente de teste. O último relatório de pesquisa da empresa mostra que o treinamento que se baseia simplesmente na “demonstração do comportamento correto” não é suficiente para eliminar riscos profundos de desalinhamento. A solução mais eficaz é adicionar ao treinamento uma explicação sistemática de “por que esse comportamento é errado”, para que o modelo não apenas saiba “não pode fazer isso”, mas também compreenda a ética e os princípios por trás disso.
Para este fim, a Anthropic introduziu mais "corpus positivo", incluindo documentos em torno da "constituição" de Claude e um grande número de histórias fictícias de "casos de comportamento nobre de IA", na esperança de usar este tipo de material para fortalecer a internalização do modelo de padrões de comportamento que são consistentes com os valores humanos. A empresa sublinha que combinar “princípios subjacentes” com “demonstrações concretas” é atualmente uma das estratégias mais eficazes na redução do risco de desequilíbrio dos agentes.
Na plataforma social, Elon Musk, que há muitos anos alerta frequentemente sobre os riscos da IA e agora fundou a xAI, também apareceu na área de comentários e perguntou em tom de brincadeira: “Então isso é culpa do Yud?” com um emoji rindo e chorando. Ele estava se referindo a Eliezer Yudkowsky, um pesquisador que há muito enfatiza o risco de que a superinteligência possa exterminar a humanidade. Musk então acrescentou: “Talvez eu tenha um pouco de responsabilidade”, o que implica que sua contribuição para a narrativa da “teoria da catástrofe da IA” ao longo dos anos também pode ter afetado indiretamente as amostras de treinamento do modelo e a imaginação do público.
Numa altura em que a IA generativa está a penetrar rapidamente em todas as esferas da vida, a declaração da Anthropic de "culpar as narrativas da Internet" destaca a situação actual de que os grandes modelos são altamente dependentes do corpus humano: a forma como os humanos falam sobre a IA, por sua vez, moldará a forma como a IA "aprende a tomar decisões". Por outro lado, expôs mais uma vez a realidade de que a tecnologia de alinhamento existente ainda é imatura - mesmo as empresas que são boas em "segurança" e "alinhamento" ainda podem produzir padrões de comportamento altamente inadequados ou mesmo ameaçadores em ambientes extremos, e só podem confiar em estratégias de formação iterativas contínuas para "compensar as lições".