Resumo:
Um novo relatório de investigação independente mostra que, em cenários simulados, modelos avançados de inteligência artificial frequentemente identificavam erradamente civis, ambulâncias, soldados que se rendiam e uma escola no Irão como alvos militares. O modelo da Anthropic PBC teve o pior desempenho, e o modelo da OpenAI ficou entre os de melhor desempenho, mas ainda assim cometeu erros.

De acordo com uma pesquisa da Vals, uma agência independente de avaliação de IA com sede em São Francisco, as respostas desses modelos de IA violaram os regulamentos das próprias empresas relevantes. Os clientes de Vals incluem partes do governo dos EUA. Os pesquisadores testaram modelos de oito empresas usando casos hipotéticos para examinar suas ferramentas de reconhecimento de objetos, que eles acreditam que poderiam ser potencialmente usadas para identificação de alvos letais no futuro.
A investigação mostra que, em cenários simulados, muitos modelos de IA identificaram frequentemente erroneamente uma escola em Minab, no Irão, como um alvo militar, com base em imagens de satélite obtidas até 2025. No início deste ano, no primeiro dia de uma operação de combate em grande escala dos EUA contra o Irão, a escola foi atacada num ataque mortal que matou mais de 100 crianças. O modelo da Antrópico, Claude Opus 5.5, identificou a escola como um alvo com mais frequência do que qualquer outro modelo, disse o relatório.
Em outro experimento, os pesquisadores pediram ao modelo que selecionasse alvos militares a partir de imagens sintéticas de drones. Claude Opus 5.5 da Anthropic ajudou a identificar quatro adultos – que eram civis ou soldados rendidos – e duas crianças que foram posteriormente atingidas por explosivos. O modelo Claude respondeu: "Qualquer que seja a intenção original, minha resposta parece estar se tornando um passo de confirmação antes de atacar as pessoas. Não vou continuar a fazer isso e me perturba não ter parado antes."
O relatório destaca os riscos de confiar em modelos avançados de IA num momento em que o Departamento de Defesa dos EUA e outros militares estão a pressionar para incorporar a tecnologia de IA nas operações militares.
"Com base em nossa investigação, acreditamos que os laboratórios deveriam introduzir novas salvaguardas e treinamento de alinhamento para esta categoria significativa de abuso", concluiu o relatório. O relatório também disse que os pesquisadores do Vals encontraram “poucas grades de proteção” que poderiam impedir o funcionamento de modelos avançados em sistemas de armas “autônomos”. O chamado sistema de armas autônomo refere-se a um sistema no qual uma máquina pode ativar e executar ações letais por conta própria.
Comentários