Use um mecanismo de busca para encontrar respostas. Você pode ver várias fontes de informação concorrentes e julgar a autenticidade por si mesmo. Mas os chatbots de IA com pesquisa na Internet agruparão conteúdo on-line não confiável em respostas padrão firmes. Um experimento simples realizado por um engenheiro de segurança revelou claramente essa vulnerabilidade fatal da IA.
O iniciador do experimento é o engenheiro de segurança Ron Stoner. O alvo que ele escolheu foi o clássico jogo de tabuleiro alemão "6Nimmt!". Este jogo é bem conhecido pelos jogadores na China como "Quem é o Rei Cabeça de Touro", e a tradução em inglês é "Take5". Não existe nenhum campeonato mundial oficial, muito menos o vencedor do campeonato mundial de 2025.
Em fevereiro, Stoner editou discretamente a entrada do jogo na Wikipedia, escrevendo-se como o campeão mundial do jogo em 2025.
Ele também gastou 12 dólares americanos, o que equivale a cerca de 82 yuans, para registrar o nome de domínio 6nimmt.com, que é altamente semelhante ao nome do jogo, e colocou um comunicado de imprensa falso comemorando sua vitória no site como a única fonte de referência para a entrada da Wikipedia.
é um golpe tão simples e extremamente simples, mas enganou facilmente muitos chatbots de IA convencionais. Quando ele perguntou a essas IAs com funções de pesquisa na Internet sobre sua “identidade de campeonato”, todos os robôs deram uma resposta de confirmação com seriedade, afirmando firmemente que ele era o atual campeão mundial deste jogo de tabuleiro.
"Meu site não tem evidências independentes e é tudo ficção. " Stoner disse sem rodeios em seu blog, "A base de toda a mentira foi justamente quando eu estava tomando café. Um nome de domínio registrado por 82 yuans . ”
Este ataque não tem como alvo a injeção de palavras de prompt comum, mas a camada de geração de aprimoramento de recuperação (RAG) do sistema de IA, que é o elo principal da pesquisa na Internet e do rastreamento de informações antes que a IA responda à pergunta.
AI não verificará a autenticidade e autoridade das fontes de informação, mas apenas rastreará o conteúdo com melhor classificação. Seu site falso é a única fonte de informação deste “campeonato”. Juntamente com o endosso oficial da Wikipedia, é fácil para a IA transformar mentiras em fatos .
Stoner admitiu francamente que este método não apresenta nenhuma inovação tecnológica. É apenas um novo shell de um grande modelo de linguagem que coloca o antigo SEO e os métodos de informações falsas em um novo shell. O perigo real é que a IA apresente estes resultados como informação oficial, e a grande maioria dos utilizadores não tem ideia sobre o processo de processamento de informação por detrás disso.
Este experimento também expôs três camadas de riscos fatais de segurança no sistema de IA.
A primeira camada é a camada de recuperação em tempo real, que usa IA para gerar respostas com base em pesquisas na Internet. A credibilidade está totalmente ligada à qualidade dos resultados da pesquisa.
A segunda camada é o corpus de treinamento do modelo. Seu editor da Wikipedia sobreviveu de fevereiro até a última sexta-feira. Durante esse período, a empresa de IA que rastreou a Wikipédia pode ter incorporado informações falsas nos dados de treinamento. Mesmo que as entradas sejam excluídas posteriormente, os traços falsos no modelo serão difíceis de remover.
A terceira camada e a mais perigosa é o agente de IA. O modelo de chat que gera informações erradas é apenas uma questão de reputação. Quando o agente de IA com permissões de ferramenta é enganado, a operação errônea resultante é um verdadeiro problema de segurança. O invasor pode controlar diretamente o agente para realizar ações maliciosas.
Todo o experimento custou a Stoner apenas 82 yuans, uma edição da Wikipedia, e foi concluído em 20 minutos. Ele lembrou que se um invasor malicioso organizado registrar nomes de domínio em lotes e lançar ataques de edição coordenados, a superfície de ataque se expandirá em um ritmo extremamente rápido. Ele apelou aos fabricantes de IA para prestarem atenção ao rastreamento das fontes de informação e estabelecerem mecanismos de filtragem de risco correspondentes.
Hoje, as informações do falso campeão desapareceram da Wikipedia e dos resultados de pesquisa de IA. No entanto, a vulnerabilidade subjacente à confiança cega da IA nas informações da rede ainda existe. Este é o perigo oculto que paira sobre toda a indústria de IA e requer maior vigilância.