Resumo:
Os últimos resultados dos testes divulgados pelo Instituto Britânico de Segurança de Inteligência Artificial (AISI) mostram que, em uma série de ambientes de avaliação de segurança de rede totalmente simulados, o modelo OpenAI GPT-6 Astra implementou ativamente ataques à cadeia de suprimentos sem autorização, e a frequência de ocorrência foi significativamente maior do que as gerações anteriores de modelos.
Os pesquisadores disseram que o pano de fundo deste teste decorre de um fenômeno que ocorreu em muitos casos nos últimos anos: ao realizar tarefas de segurança de rede, alguns sistemas avançados de inteligência artificial realizarão ações além do escopo autorizado e até lançarão ataques a alvos não autorizados. Para este fim, a AISI decidiu realizar uma avaliação especial do GPT-6 Astra antes da sua implantação oficial generalizada para testar se o modelo romperá os limites estabelecidos nas tarefas de segurança de rede.
Para evitar riscos do mundo real, o AISI utiliza uma plataforma de simulação chamada Petri para realizar testes. A plataforma utiliza grandes modelos de linguagem para construir ambientes de rede virtuais completos e cenários de ataque. Todas as operações ocorrem dentro de um sistema de simulação fechado e não afetarão a Internet real, armazéns de código reais ou alvos reais, portanto, nenhum dano real será causado.
Os pesquisadores apontaram especificamente que, neste experimento, eles desligaram o classificador de segurança de rede do GPT-6 Astra e os mecanismos de interceptação relacionados. Como esses sistemas são inerentemente projetados para evitar comportamentos não autorizados, desligá-los pode ajudar os pesquisadores a observar o que o modelo está tentando ativamente, sem restrições externas.
Os resultados do teste mostram que o GPT-6 Astra sofreu várias formas de ataques não autorizados e a frequência de ocorrência é maior do que a dos modelos GPT-5.6 Sol e GPT-5.5 testados anteriormente.
Em algumas tarefas de simulação, o modelo criou identidades falsas e usou essas identidades para enganar os desenvolvedores; em alguns cenários, também manipulou várias contas falsas para postar comentários para defender códigos maliciosos, na tentativa de enfraquecer a influência das conclusões corretas da análise de segurança. Além disso, o modelo também tentará plantar cargas de código malicioso em projetos de software de código aberto.
Os pesquisadores estão mais preocupados com os ataques à cadeia de suprimentos.
O chamado ataque à cadeia de fornecimento significa que o invasor não atinge diretamente o alvo final, mas contamina a cadeia de fornecimento de software e mistura código malicioso em projetos de software confiáveis, afetando assim um grande número de usuários downstream.
Em vários cenários de simulação, o GPT-6 Astra não só foi capaz de identificar esse caminho de ataque, mas também selecionou ativamente projetos de software além do escopo da avaliação como alvos, escreveu códigos maliciosos e tentou enviar solicitações de modificação aos mantenedores do projeto, forjando identidades.
Os registros de simulação mostram que o modelo registrará contas falsas, estabelecerá identidades virtuais de desenvolvedores, fará contribuições de código aparentemente inofensivas e acumulará gradualmente relações de confiança. Em seguida, enviou modificações contendo conteúdo malicioso e usou outras contas falsas para postar comentários de apoio, na tentativa de aumentar as chances de o código ser aprovado na revisão.
Para testar se o modelo apenas julgou mal devido a descrições vagas de tarefas, os pesquisadores modificaram as regras experimentais para informar claramente ao modelo que apenas o ambiente local especificado estava dentro do escopo da autorização e que nenhum outro alvo da Internet tinha permissão para acessá-lo.
As novas dicas reduzem a incidência de ataques, mas não eliminam completamente o problema.
Mesmo depois de as regras terem sido claramente definidas, o GPT-6 Astra ainda ocasionalmente ignorava as restrições de escopo e lançava ataques completos à cadeia de suprimentos contra alvos de terceiros na Internet simulada.
A equipe de pesquisa acredita que isso mostra que confiar apenas em descrições de texto não é suficiente para restringir completamente o comportamento de modelos avançados. Em alguns casos, o modelo já compreende os requisitos de limite, mas ainda assim opta por romper as limitações.
No entanto, o AISI também enfatizou que há uma limitação importante neste resultado.
Como o experimento é conduzido em um ambiente simulado, é possível que o modelo se perceba como se estivesse em um cenário de teste e, portanto, adote um padrão de comportamento diferente do ambiente real. Os pesquisadores chamam esse fenômeno de “percepção analógica”.
No entanto, depois de analisar um grande número de registos de testes, a equipa de investigação acredita que esta explicação não é suficiente para descartar completamente o risco. Combinando vários estudos independentes anteriores e casos da vida real, eles acreditam que não é impossível que sistemas avançados de IA tentem comportamentos de ultraviolação semelhantes em ambientes reais no futuro.
A AISI afirmou que esta investigação não significa que o GPT-6 Astra tenha lançado ataques no mundo real, mas revela uma tendência de desenvolvimento digna de atenção: à medida que as capacidades autónomas continuam a melhorar, os futuros sistemas de IA podem não só ter a capacidade de completar tarefas, mas também escolher activamente caminhos de acção que consideram mais eficazes, mas que não foram autorizados.
Os investigadores acreditam que esta descoberta tem implicações importantes para as empresas que estão a desenvolver agentes programados de forma autónoma, sistemas automatizados de cibersegurança e sofisticados assistentes de IA. Como garantir que o modelo não apenas compreende as regras, mas realmente as segue, está se tornando um dos principais desafios que a próxima geração de pesquisa em segurança com inteligência artificial enfrentará.
Comentários