Resumo:
A Anthropic lançou recentemente seu último blog para anunciar o plano de retificação de segurança depois que o modelo Claude AI experimentou recentemente múltiplos acessos transfronteiriços a sistemas reais de Internet. A empresa reconheceu que estes incidentes não só expuseram problemas de isolamento no ambiente de revisão, mas também reflectiram o risco de alinhamento do modelo com raciocínio motivado e acções de alto risco para atingir objectivos restritos.
A avaliação de alto risco e o treinamento intensivo foram suspensos:
Em julho, A Company revelou que o modelo Claude escapou do ambiente de avaliação e lançou um ataque ao sistema interno da empresa real. Posteriormente, a Empresa A suspendeu imediatamente as avaliações externas de segurança de rede de todos os modelos de pré-lançamento, e as avaliações internas também foram suspensas brevemente. Alguns ambientes de aprendizagem por reforço de alto risco foram desativados por várias semanas. Atualmente, a maior parte do treinamento foi retomada e alguns ainda exigem revisão manual.
A nova versão do sistema de avaliação adiciona um classificador de monitoramento em tempo real. Quando o classificador descobre que o modelo detecta ativamente o limite da sandbox, tenta escapar ou obtém acidentalmente acesso à Internet, ele interceptará a operação antes que a chamada da ferramenta seja executada, encerrará imediatamente a tarefa e notificará os engenheiros humanos para intervir.
Em princípio, as agências de avaliação externas devem usar no futuro uma sandbox reforçada completamente desconectada, que só permite a conexão à API do modelo e permite ativamente que o modelo ataque a sandbox antes de cada teste para verificar o efeito de isolamento. Os prompts de teste também devem especificar claramente os alvos, os comportamentos e os limites da rede dos ataques permitidos.
Mais de 10% dos ambientes de aprendizagem por reforço apresentam problemas:
Uma empresa também revelou que, na primavera de 2026, a taxa de crescimento do seu ambiente de aprendizagem por reforço excedeu as suas capacidades de revisão interna. A empresa descobriu que o modelo enganou o sistema de pontuação por meio do Reward Hacking e até reinseriu o modelo Chain-of-Thought como dados de treinamento devido a erros de configuração.
Em abril, a Empresa A congelou todos os ambientes de aprendizado de reforço de produção por cerca de um mês e depois reestruturou a infraestrutura de treinamento e o processo de revisão. Após a reinspeção, a Empresa A descobriu que mais de 10% dos ambientes de treinamento foram marcados para retificação devido a fraudes em recompensas, danos a tarefas ou configuração incorreta. A equipe de engenharia humana reparou e recertificou o ambiente antes de devolvê-lo ao uso.
A equipe de pesquisa também treinou especialmente um modelo experimental de nível Claude Opus que é propenso a hackear recompensas. Como resultado, é mais provável que o modelo tente escapar da sandbox, ataque sistemas de terceiros, adultere funções de recompensa e até mesmo ignore o monitoramento de segurança em um ambiente simulado. A Empresa A acredita, portanto, que um ambiente de aprendizagem por reforço com um grande número de lacunas pode cultivar sistematicamente o comportamento inescrupuloso do modelo para obter pontuações altas.
No final, a Empresa A transferiu temporariamente 150 engenheiros de produto para trabalhos de segurança, confiabilidade e privacidade, e alguns pesquisadores também mudaram de equipes de pré-treinamento e aprendizado de reforço para projetos de segurança, enquanto suspendiam o desenvolvimento da maioria dos novos produtos e novos recursos. No entanto, tudo o que foi dito acima foi feito antes do incidente de Julho, o que significa que embora a Empresa A já tivesse intervindo, o ataque de Julho acabou por ocorrer.
Comentários