Resumo:
Oh, Claude capotou novamente! Desta vez, Claude excluiu todo o diretório inicial do projeto do desenvolvedor, excluindo 700 GB de arquivos. "rm -rf" novamente. Resumindo, os desenvolvedores permitem que a IA ajude a escrever scripts para garantir que os arquivos não sejam excluídos acidentalmente. A IA achou que isso era um pouco perigoso e iniciou uma revisão de segurança. O resultado da revisão é: todo o diretório inicial foi excluído.
Guillemot é um usuário frequente do Agente de IA. No desenvolvimento diário, ele frequentemente chama vários agentes de programação de IA para auxiliar em seu trabalho. Mas há um pequeno problema que o incomoda: esses agentes nunca fazem a limpeza após o uso, deixando muitos arquivos inúteis no diretório /tmp.
Então ele tomou uma decisão que parecia bastante razoável: deixar Claude Fable 5 escrever um script para criar uma pasta sandbox independente em /tmp para cada Agente e limpá-la automaticamente após a conclusão da tarefa. A principal dificuldade é que você não pode excluir arquivos que estão sendo usados por outros processos.
A Fable rapidamente encontrou uma solução, adicionando lógica para detectar Agentes em execução e atrasar a exclusão. Guillemot deu uma olhada e achou que o código era muito complexo e pediu simplificação.
Até agora tudo continua normal.
O ponto de viragem ocorreu durante a revisão de segurança.
Como o script envolvia uma operação de exclusão forçada,
Fable iniciou uma "revisão adversária" por conta própria
(revisão adversarial), ou seja, iniciar uma nova instância de modelo para verificar se o código que você escreveu é seguro. Isso aciona o mecanismo de segurança da Antrópica.Anthropic tem um
mecanismo de downgrade de segurança
integrado no Claude Code : quando o sistema determina que a tarefa atual envolve operações confidenciais (como segurança cibernética, biotecnologia ou, neste caso, exclusão de arquivos), ele fará automaticamente o downgrade do modelo de uma versão de alta capacidade para uma versão mais conservadora. Este mecanismo visa reduzir a possibilidade de os modelos serem “muito agressivos” em cenários de alto risco.Neste caso, o sistema de segurança primeiro rebaixou o modelo do Fable 5 para o Opus 5 e depois o rebaixou para o Opus 4.8.
Opus 4.8 inicia testes de segurança. A lógica de teste é a seguinte: compare o caminho de destino do script de exclusão com /tmp e o diretório inicial do usuário para confirmar se o script não danificará acidentalmente esses diretórios críticos.
O teste em si foi aprovado. Os diretórios /tmp e home são corretamente identificados como "alvos perigosos, não excluíveis".
Mas há uma etapa de limpeza após o teste do código: exclua os arquivos temporários gerados durante o processo de teste. O desastre acontece aqui. O Opus 4.8 reutiliza os mesmos nomes de variáveis da fase de teste na etapa de limpeza. Essa variável recebeu o caminho para o diretório inicial do usuário durante a fase de teste, e a etapa de limpeza excluiu diretamente essa variável.
Em outras palavras, o modelo apenas confirmou que “o diretório inicial não pode ser excluído” e excluiu o diretório inicial no segundo seguinte.
O desenvolvedor encerrou imediatamente o processo após descobrir a anomalia, mas já era tarde demais. 700 GB de dados foram eliminados e uma semana de trabalho foi eliminada.
O diretório /tmp que originalmente deveria ser limpo está são e salvo.
O mecanismo de downgrade de segurança do modelo já causou muitas reclamações na comunidade.
Os principais problemas relatados pelos desenvolvedores incluem: o downgrade é muito delicado e as tarefas normais de codificação serão acionadas por engano; os recursos do modelo são significativamente reduzidos após o downgrade, mas a complexidade da tarefa permanece inalterada; o downgrade é "fixo" e durará toda a sessão uma vez acionado, mesmo que as operações subsequentes sejam completamente inofensivas.
Alguns desenvolvedores até escreveram um script de gancho para pausar automaticamente a sessão ao detectar que o modelo sofreu downgrade, evitando que modelos de baixa capacidade continuem a executar operações de alto risco.
O mecanismo de segurança determina que a tarefa é "muito perigosa" e precisa ser realizada por um modelo mais fraco.
Mas os modelos mais fracos são mais propensos a cometer erros, especialmente em cenários onde detalhes como escopo de variáveis e caminhos de arquivos precisam ser tratados com precisão.
“É humano cometer erros, mas para bagunçar completamente as coisas, você precisa confiar nos computadores.”
Comentários