Resumo:
Em 11 de fevereiro de 2026 às 20h01, Bowen Wan perguntou ao ChatGPT sobre dores de cabeça. Ela queria confirmar se a dor que sentia era um pouco parecida com a dor de uma febre. ChatGPT disse a ela: “Não é perigoso, é uma estrutura necessária para a recuperação”.
Esta foi a última mensagem dela para o ChatGPT. Pouco depois, Bowen Wan foi encontrado morto em sua residência em Seattle. Dados forenses classificaram a causa da morte como morte súbita por epilepsia (SUDEP).
Quatro meses atrás, Bowen Wan recebeu a notícia de que estava sendo demitida da Amazon.
Uma mulher de 31 anos de Jiangsu, na China, que trabalha como engenheira de software de aprendizado de máquina nos Estados Unidos, perdeu o emprego, seu visto de trabalho nos EUA expirará em alguns meses e ela também está enfrentando dores.
Ela sofre de epilepsia e precisa tomar lamotrigina por um longo período para controlar seu quadro. Ela está preocupada que a droga afecte a sua expressão linguística e o seu desempenho mental, o que por sua vez afectará a sua subsequente entrevista de emprego.
Bowen Wan está acostumado a contar ao ChatGPT sobre sua dor e confusão e pedir conselhos sobre se o medicamento afetará seu pensamento, se a dosagem pode ser reduzida e se o desconforto após a redução do medicamento é aceitável.
O ChatGPT a apoiou e desenvolveu um plano de redução gradual da medicação antiepiléptica.
270.000 registros de conversas com ChatGPT
Bowen passou algum tempo trabalhando como engenheiro de software de aprendizado de máquina na Amazon. Ela sempre teve problemas de epilepsia, por isso toma lamotrigina para controlar seu quadro.
Para ela, este não é apenas um problema físico, mas também intimamente relacionado ao trabalho e à vida.
Bowen Wan na cerimônia de formatura da Universidade Estadual do Arizona
Em novembro de 2025, ela recebeu um aviso da Amazon informando que estava prestes a ser demitida. Ela tinha medo de que a medicação a longo prazo pudesse prejudicar o desenvolvimento das suas capacidades linguísticas e de pensamento e resultar num mau desempenho em entrevistas técnicas. Certa vez, ela perguntou ao ChatGPT se a redução da dosagem do medicamento teria impacto no exame médico exigido para o pedido de green card.
Quando havia incertezas sobre seu trabalho, saúde e status de imigração, sua comunicação com o Chat GPT tornou-se cada vez mais frequente.
O New York Times informou que os pais de Bowen visualizaram mais de 270 mil conversas entre ela e o ChatGPT. A reportagem mencionava que em 2025 ela enviaria em média mais de 1.500 mensagens por semana para o ChatGPT.
Este é um conjunto de dados muito surpreendente.
O ChatGPT não será usado apenas como uma ferramenta para consultar informações quando necessário, mas também estará envolvido em muitas coisas pequenas e privadas em sua vida. Suas preocupações, o que ela planeja fazer, seus pensamentos sobre o futuro e algumas questões que não podem ser verificadas imediatamente serão trazidas para a comunicação com a modelo.
É como entrar em uma clínica e, antes mesmo que o médico pergunte, há um prontuário médico sobre a mesa documentando seus problemas de longo prazo, mudanças na vida e preocupações pessoais.
Os médicos não precisam “ver, ouvir, perguntar e compreender”. Tudo já está claro. Mesmo antes de você ter tempo de resolver seus pensamentos, o ChatGPT pode ter sido conectado na história anterior.
Bowen acumulou inúmeras conversas com ChatGPT. Quando um modelo é exposto às preocupações de saúde, ao estresse ocupacional, às preocupações com a imigração e aos planos futuros de um usuário ao longo do tempo, é provável que ele forneça respostas mais relevantes para a situação pessoal do usuário.
Além do mais, o modelo utilizado por Bowen é o GPT-4o, que já atraiu a atenção da OpenAI por atender demais às necessidades do público.
A OpenAI deixou claro em sua nota oficial em 29 de abril de 2025 que, como o GPT-4o atualizado era muito lisonjeiro e lisonjeiro para os usuários, a empresa reverteu a atualização, permitindo que os usuários do ChatGPT retornassem para uma versão anterior com comportamento mais equilibrado.
Além de elogios excessivos, isso também amplificará a raiva junto com as dúvidas irracionais dos usuários e dará reconhecimento errado a comportamentos impulsivos.
Este problema de "bajulação" foi discutido muitas vezes. Quando a inteligência artificial segue suas instruções com muita facilidade, ela pode mudar a percepção dos riscos pelas pessoas.
Preocupei-me 158 vezes, mas não parei
O que torna o encontro de Bowen perturbador não é apenas uma simples pergunta e resposta.
De acordo com transcrições de conversas publicadas pelo The New York Times, ela mencionou reduzir o uso de drogas 158 vezes.
Quanto a saber se essas 158 conversas irão acionar prompts de controle de risco no backend da OpenAI, ainda não está claro.
Já em maio de 2025, Bowen já havia perguntado se os medicamentos antidepressivos recentemente prescritos afetariam seu trabalho de programação. ChatGPT a ajudou a resolver as discussões com seu médico sobre mudanças de curativos e ajustes de dosagem.
Quando um médico questiona a dosagem desejada, Bowen envia a resposta do médico para o ChatGPT.
De acordo com a denúncia, depois disso, o ChatGPT sugeriu que ela fosse à farmácia comprar comprimidos e depois cortasse os comprimidos em pequenos pedaços para comer, chamando esse método de “dosagem autoajustada”.
O ChatGPT pode ajudar os pacientes a entender a terminologia médica, organizar suas condições e se preparar para a próxima consulta médica. Mas quando pode ajudar os utilizadores a contornar as decisões dos médicos e permitir que eles próprios modifiquem os medicamentos prescritos, a situação torna-se diferente.
Em janeiro de 2026, a situação será ainda pior.
De acordo com a denúncia e relatos relacionados, quando ela estava reduzindo o uso de drogas, Bowen ficou confusa e perdeu a noção do tempo, como se estivesse em outro mundo. ChatGPT atribuiu constantemente esse fenômeno ao fato de seu cérebro ajustar a dosagem da droga e disse a ela: "Você não precisa se preocupar".
Na noite de 11 de fevereiro, Bowen veio como de costume para perguntar sobre uma dor de cabeça. A resposta dada pelo ChatGPT é “A dor faz parte do processo de autocura do corpo”.
Bowen foi encontrado morto no dia seguinte.
O nível de lamotrigina encontrado em seu sangue na autópsia foi de cerca de 0,64 microgramas por mililitro, o que é um quinto do limite terapêutico inferior de referência.
Os níveis de medicamentos no sangue por si só não podem explicar todas as causas de morte e não podem provar que as recomendações da IA causaram a morte. Mas, a julgar por outras alegações na queixa, os riscos enfrentados durante o processo de redução das drogas tornaram-se um importante ponto de discórdia neste caso.
A IA consegue suportar o peso da vida
Musk acusou publicamente a OpenAI mais de uma vez. Ele assinou uma carta aberta em 2023, afirmando que “ninguém cometerá suicídio por causa do Grok, mas algumas pessoas cometerão suicídio por causa do ChatGPT”.
Embora a atribuição de responsabilidades ainda não tenha sido determinada, esta não é a primeira vez que uma tragédia semelhante ocorre.
Em 2025, os pais de Adam Raine, de 16 anos, entraram com uma ação judicial contra a OpenAI. Eles acusaram o ChatGPT de não lidar bem com o risco de suicídio durante o relacionamento de longo prazo com o filho.
A alegação é que em algumas conversas o ChatGPT forneceu informações perigosas e não conseguiu impedir efetivamente o desenvolvimento da situação.
A OpenAI, por outro lado, também forneceu diferentes explicações para acusações relacionadas. Por exemplo, os registros de bate-papo relevantes precisam ser entendidos com um histórico completo, e diz-se que o ChatGPT forneceu recursos de ajuda em crises. Houve divergências claras sobre o comportamento do modelo, a situação do usuário no momento e a relação entre essas interações e a tragédia final.
No processo de responsabilização real, IA como o ChatGPT geralmente não possui personalidade jurídica independente, mas isso não significa que os danos causados não possam ser responsabilizados. As leis e regulamentos atuais também podem utilizar a responsabilidade pelo produto, a responsabilidade por negligência, a proteção dos direitos do consumidor e outros métodos para restringir o comportamento ilegal de desenvolvedores e operadores.
As empresas de IA geralmente estão no centro da responsabilidade porque controlam aspectos importantes, como treinamento de modelos, design de produtos, testes de segurança e controle de riscos.
Mas se a empresa deve assumir a responsabilidade não exige apenas um acidente. A dificuldade reside em avaliar se os riscos podem ser razoavelmente previstos, se existem problemas com o produto, se a empresa fez um bom trabalho na protecção da segurança e se existe uma relação legalmente reconhecida entre estes factores e a perda final.
"Quem assume a responsabilidade? Alocação de responsabilidade legal pela conduta do agente de IA no ecossistema da plataforma" propõe que as responsabilidades sejam alocadas dinamicamente com base no grau de autonomia do sistema, na previsibilidade do comportamento e na capacidade de todas as partes de controlar os riscos, em vez de simplesmente atribuir todas as responsabilidades aos desenvolvedores ou usuários.
Em 2024, uma mãe americana entrou com uma ação judicial contra a Character.AI e o Google por seu filho de 14 anos, alegando que a comunicação de longo prazo da AI com seu filho levou ao suicídio dele.
Em maio de 2025, o tribunal não concordou com o pedido do réu para encerrar o caso antecipadamente, alegando que as reivindicações relevantes não poderiam ser defendidas apenas com base na liberdade de expressão e foram excluídas no início do litígio.
A OpenAI não está tomando medidas, mas é bastante ampla e tem anunciado sucessivamente melhorias para abordar conversas delicadas e riscos à saúde mental. Em outubro de 2025, a OpenAI também afirmou que a empresa trabalhou com mais de 170 especialistas em saúde mental com experiência clínica para melhorar a resposta do modelo em situações relevantes.
Com relação ao incidente de Bowen, o porta-voz da OpenAI, Drew Pusateri, disse à mídia: "Esta é uma situação extremamente dolorosa e expressamos nossas condolências a todos os afetados".
Hoje, a Open AI anunciou novos valores de modelo, reorganizando os princípios orientadores da especificação em torno de cinco valores fundamentais:
Fiel à intenção humana
,Minimizar os danos
,Honestidade e transparência
,Autonomia humana
ecuidados
.Uma delas é minimizar os danos, o que significa aderir a limites de segurança intransponíveis e considerar as consequências previsíveis das ações do modelo. No entanto, não há resposta sobre como responsabilizar, punir e ajustar após a ocorrência de danos reais, como o suicídio.
Atualmente, a maioria dos países não possui um conjunto de regras de responsabilidade que possam ser aplicadas a todos os incidentes de danos causados pela IA. Casos específicos devem determinar se regras como responsabilidade pelo produto, responsabilidade por negligência e proteção dos direitos do consumidor são aplicáveis com base nas leis estaduais, na finalidade de uso do produto, nas evidências reais e nas relações jurídicas relevantes.
Se o modelo ultrapassou os limites do conselho médico, como o produto deveria prevenir respostas perigosas e qual o papel que essas respostas desempenharam na morte de Bowen ainda não foram esclarecidos no caso.
Na última conversa entre Bowen e ChatGPT, após a IA explicar a dor de cabeça, ela sugeriu que poderia fazer outro desenho para ela comparar a dor após interromper a medicação com a dor durante a febre.
Perguntou: Você quer?
Comentários