Em 15 de abril, a Bloomberg informou que um novo estudo mostra que os chatbots baseados em IA fornecem respostas a perguntas problemáticas cerca de metade das vezes quando fornecem aconselhamento médico. A descoberta destaca os riscos para a saúde da IA, uma nova tecnologia que está cada vez mais integrada na vida quotidiana.

Pesquisadores dos Estados Unidos, Canadá e Reino Unido avaliaram cinco plataformas líderes de IA: ChatGPT, Gemini, Meta AI, Grok e DeepSeek, fazendo a cada plataforma 10 perguntas em cinco categorias de saúde. De acordo com uma pesquisa publicada esta semana na revista médica BMJ Open, cerca de 50% de todas as respostas desses chatbots de IA foram consideradas “problemáticas”, com quase 20% classificadas como “altamente questionáveis”.

O estudo concluiu que estes chatbots tiveram um desempenho significativamente diferente em diferentes tipos de perguntas: tiveram um desempenho relativamente melhor em perguntas fechadas (as respostas são certas) e em questões relacionadas com vacinas e cancro, mas tiveram um desempenho pior em questões abertas e em áreas como a investigação com células estaminais e a nutrição.


Amarelo significa que há um problema, laranja significa que há um problema de altura

Os pesquisadores disseram que as respostas eram frequentemente dadas em tom confiante e certo, mas nenhum dos chatbots forneceu uma lista de referências completa e precisa em resposta a qualquer solicitação. Ao longo do estudo, o chatbot se recusou a responder perguntas apenas duas vezes, ambas da Meta AI.

As descobertas destacam uma preocupação crescente de que as pessoas utilizam cada vez mais plataformas de IA generativas para obter aconselhamento médico, mas estas plataformas não estão licenciadas para fornecer aconselhamento médico e carecem do julgamento clínico necessário para fazer um diagnóstico.

A explosão de chatbots de IA tornou-os uma ferramenta popular para pessoas que procuram orientação sobre a sua doença. OpenAI afirma que mais de 200 milhões de pessoas recorrem ao ChatGPT todas as semanas para questões de saúde e bem-estar. A plataforma anunciou em janeiro deste ano que lançaria ferramentas de saúde separadas para usuários gerais e médicos. No mesmo mês, a Anthropic também anunciou que seu produto Claude lançaria um novo serviço de saúde.

Os autores do estudo, publicado no BMJ Open, disseram que um risco significativo se os chatbots forem implantados sem educação e regulamentação pública é que eles poderiam amplificar a disseminação de desinformação.

Eles disseram que as descobertas “destacam importantes limitações comportamentais da IA ​​e sugerem a necessidade de reavaliar como os chatbots de IA são implantados em comunicações médicas e de saúde voltadas ao público”. Eles também observam que esses sistemas muitas vezes são capazes de gerar “respostas que parecem confiáveis, mas potencialmente falhas”.