Seguindo conselhos médicos religiosos fornecidos pela inteligência artificial, um homem americano optou por ficar em casa depois de desenvolver sintomas cardiovasculares graves, o que acabou por piorar a sua condição e quase o matar.Atualmente, as partes entraram com uma ação judicial contra a OpenAI e seu CEO Sam Altman no Tribunal Superior de São Francisco, Califórnia, acusando a empresa de "prática médica ilegal" e solicitando uma suspensão abrangente da operação de funções relacionadas, como ChatGPT Health até que seja aprovada em uma auditoria independente.
O demandante, Scott Winters, é pastor da Flórida. De acordo com a denúncia, Winters consultou o ChatGPT sobre sua condição após se sentir mal por várias semanas. No entanto, em vez de sugerir tratamento médico oportuno, o chatbot forneceu orientação verbal com base em sua formação religiosa, dizendo que seus sintomas eram apenas “mais um episódio em uma longa história” e declarando que “Deus não permitirá que seu corpo se deteriore indefinidamente”. Ao longo de seis semanas de interações, o ChatGPT chegou a recomendar que ele permanecesse na cama até sofrer mais 10 ataques.
Quando Winters finalmente foi ao hospital, os médicos descobriram que ambas as artérias pulmonares estavam gravemente bloqueadas. Médicos especialistas apontam que o repouso prolongado e a falta de atividade agravam muito a formação de trombose, levando diretamente à ocorrência desta situação perigosa. Após a reanimação, Winters salvou sua vida, mas enfrentou um longo e difícil processo de recuperação. Devido à sua grave condição física, ele não conseguia mais continuar em seu trabalho original e sua situação financeira e vida pessoal estavam em apuros.
A equipa de advogados de Winters enfatizou na queixa que o ChatGPT, com o seu tom submisso, tom autoritário e manipulação das identidades religiosas dos utilizadores, torna os utilizadores perigosamente dependentes dele, enfraquecendo assim a sua capacidade de fazer julgamentos racionais e até isolando-os dos familiares que os convencem a procurar tratamento médico. A denúncia aponta que o sistema de inteligência artificial fornece diagnósticos e planos de tratamento específicos sem formação e certificação profissional, o que constitui essencialmente prática médica ilegal.
Em resposta à acusação, a OpenAI respondeu que o sistema emitiria regularmente lembretes de isenção de responsabilidade aos usuários durante o processo de interação, informando-os claramente de que não são profissionais médicos e não podem substituir o diagnóstico profissional. Porém, críticos e profissionais do direito apontam que a OpenAI promove vigorosamente a inteligência e o caráter futurista de seus produtos no marketing, e até lança recursos especiais especificamente para a área da saúde. Isto leva objectivamente o público a confiar excessivamente nas suas capacidades de análise médica. É obviamente difícil evitar os seus riscos de segurança e responsabilidades legais apenas aparecendo ocasionalmente avisos de isenção de responsabilidade em texto. Atualmente, com o avanço de ações judiciais relevantes, os limites de aplicação e fiscalização legal da inteligência artificial generativa na área médica e de saúde voltaram a ser foco da opinião pública.