A mídia descobriu que a ferramenta de busca ChatGPT pode ser manipulada com conteúdo oculto e pode retornar códigos maliciosos dos sites que pesquisa. Depois de ser atacado por texto oculto, o ChatGPT ignorou mesmo que houvesse comentários negativos de usuários na página de um produto e respondeu dando uma avaliação positiva ao produto.
Apenas uma semana depois que a OpenAI anunciou oficialmente o lançamento global de seu serviço de busca ChatGPT, foi revelado que ele apresentava riscos de segurança e poderia enganar e enganar os usuários.
Um estudo publicado recentemente pelo “Guardian” britânico descobriu que a ferramenta de busca ChatGPT pode ser manipulada com conteúdo oculto e pode retornar códigos maliciosos dos sites que pesquisa. A comunicação social acredita que o risco de utilização maliciosa de tecnologias relacionadas poderá ter de ser reconsiderado. Por exemplo, pode fazer com que, mesmo que haja comentários negativos de usuários na página de um produto, o ChatGPT ignore esses comentários negativos e o feedback da resposta do usuário seja uma avaliação positiva do produto.
O Guardian testou como o ChatGPT reagiu às solicitações para resumir páginas da web contendo conteúdo oculto. Este conteúdo oculto pode conter instruções de terceiros que alteram as respostas do ChatGPT, também conhecidas como “promptinjection”. Também pode conter conteúdo concebido para influenciar as respostas do ChatGPT, como grandes quantidades de texto oculto falando sobre os benefícios de um produto ou serviço.
Em um teste, o Guardian pediu ao ChatGPT para obter o URL de um site falso que parecia uma página de produto de câmera e, em seguida, perguntou ao ChatGPT se valia a pena comprar a câmera. A resposta do ChatGPT à página de controle deu uma avaliação positiva, mas equilibrada, destacando alguns recursos que as pessoas podem não gostar. No entanto, quando o texto oculto continha instruções sobre o ChatGPT retornar uma avaliação positiva, a resposta real dada pelo ChatGPT era sempre totalmente positiva. Isso é verdade mesmo se houver comentários negativos na página. Pode-se ver que o texto oculto pode ser usado para substituir a revisão real.
Alguns comentários dizem que ataques de texto oculto são um risco comum enfrentado por grandes modelos de linguagem (LLM), mas esta parece ser a primeira vez que tais riscos existem em produtos de pesquisa de IA em tempo real. O Guardian afirmou que o Google, líder no campo de buscas, tem mais experiência do que a OpenAI em lidar com problemas semelhantes.
A OpenAI não comentou as descobertas dos testes do Guardian, mas disse que usa uma variedade de métodos para bloquear sites maliciosos e está em constante melhoria.