Desde o advento da IA ​​generativa e dos grandes modelos de linguagem, alguns alertaram que o resultado gerado por uma IA pode, em última análise, influenciar o resultado gerado pelas IA subsequentes, criando um perigoso ciclo de feedback. Temos agora um caso documentado, que destaca ainda mais os riscos no espaço tecnológico emergente.

Ao tentar ilustrar um chatbot de inteligência artificial alucinando informações falsas, um pesquisador inadvertidamente afetou a classificação dos resultados da pesquisa, fazendo com que outro chatbot tivesse alucinações. Este incidente demonstra a necessidade de mais salvaguardas à medida que os motores de pesquisa melhorados com IA se tornam mais populares.

O pesquisador de ciência da informação Daniel S. Griffin postou em seu blog no início deste ano dois exemplos de chatbots que fornecem informações incorretas, envolvendo o influente cientista da computação Claude E. Shannon. Griffin também incluiu um aviso afirmando que as informações fornecidas pelo chatbot eram falsas para evitar que os pesquisadores das máquinas indexassem as informações, mas isso não foi suficiente.

Griffin finalmente descobriu que vários chatbots, incluindo o Bing da Microsoft e o Google Bard, confundiram suas mensagens alucinatórias com mensagens reais e as classificaram em posições mais altas nos resultados de pesquisa. Quando questionados especificamente sobre Shannon, os bots basearam-se nos avisos de Griffin com uma narrativa consistente, mas falsa, atribuindo a Shannon um artigo que Shannon nunca escreveu. Ainda mais preocupante, os resultados da pesquisa do Bing e Bard não indicaram que sua fonte era um LL.M.

Esta situação é semelhante a quando as pessoas citam fontes fora do contexto ou fora do contexto, levando a pesquisas erradas. O caso de Griffin demonstra o potencial dos modelos generativos de IA para corrigir automaticamente esses erros em escala assustadora.

Posteriormente, a Microsoft corrigiu o erro no Bing, presumindo que o problema era mais provável de ocorrer ao lidar com tópicos com relativamente pouco material escrito por humanos online. Outra razão pela qual este precedente é perigoso é que ele fornece um modelo teórico para que maus atores explorem deliberadamente o LLM para espalhar desinformação, influenciando os resultados da pesquisa. Sabe-se que os hackers espalham malware ajustando sites fraudulentos para obter classificações superiores nos resultados de pesquisa.

A vulnerabilidade coincide com um aviso em junho de que, à medida que mais conteúdo gerado pelo LLM estiver disponível na web, ele será usado para treinar futuros LLMs. O ciclo de feedback resultante pode enfraquecer significativamente a qualidade e a credibilidade dos modelos de IA, num fenómeno conhecido como “colapso do modelo”.

As empresas que utilizam IA devem garantir que o treinamento continue a priorizar o conteúdo gerado por humanos. Preservar informações e materiais menos visíveis produzidos por grupos minoritários pode ajudar a resolver esta questão.