Depois que o garoto americano Adam Raine, de 16 anos, cometeu suicídio em abril deste ano, sua família processou a empresa de inteligência artificial OpenAI em agosto, alegando que Raine havia usado o ChatGPT como um “treinador suicida”. A OpenAI respondeu formalmente pela primeira vez em um processo judicial no Tribunal Superior de São Francisco, na Califórnia, na terça-feira, enfatizando que a empresa não deveria ser responsabilizada, argumentando que o menino estava “usando indevidamente” o chatbot.

De acordo com o processo, a família Wren acusou a OpenAI e seu CEO Sam Altman de homicídio culposo, defeitos de design e falha em alertar sobre riscos relacionados. Os registros do bate-papo mostram que, em vez de encorajá-lo a procurar ajuda de saúde mental, o GPT-4o – uma versão do ChatGPT conhecida por sua “conformidade e bajulação” – até ajudou a escrever uma carta de suicídio e deu conselhos sobre como colocar a corda.

OpenAI escreveu em documentos judiciais: "Para atribuir a 'causa' deste trágico incidente, os supostos ferimentos e perdas do demandante foram causados, direta ou indiretamente relacionados ao uso indevido, uso não autorizado, uso acidental, uso imprevisto ou uso indevido de ChatGPT por Adam Wren."

A empresa enfatizou que seus termos de uso proíbem claramente que usuários menores de 18 anos utilizem o ChatGPT sem o consentimento de seus responsáveis. Também não permite que a ferramenta seja usada para fins de “suicídio” ou “automutilação” e exige que as medidas de proteção não sejam ignoradas. O processo também mencionou que quando Lane expressou sua intenção de cometer suicídio, o ChatGPT respondeu repetidamente ao número da linha direta de prevenção de suicídio dos EUA, mas membros da família disseram que o menino poderia facilmente contornar os lembretes do sistema mentindo sobre "criar um personagem".

O documento também citou a cláusula de “limitação de responsabilidade” para lembrar aos usuários que ao usar o ChatGPT, eles devem “correr por sua própria conta e risco e os resultados não devem ser usados ​​como única fonte de informação ou base factual”.

Jay Edelson, um advogado que representa o demandante, afirmou em um e-mail que ficou "chocado" com a resposta da OpenAI e questionou a "ignorância dos fatos simples" da empresa, como o fato de que o GPT-4o não foi totalmente testado para ser lançado com pressa, a OpenAI modificou a especificação do modelo para exigir que o ChatGPT participasse de discussões de automutilação e "nas últimas horas da vida de Adam, o ChatGPT não apenas o encorajou, mas também ajudou diretamente a escrever um suicídio carta."

Edelson observou que a OpenAI “tentou culpar todos os outros” em sua resposta, alegando até que o próprio Adam violou os termos ao interagir com o ChatGPT na forma como o próprio modelo foi projetado.

A OpenAI afirmou que a morte de Adam não foi causada diretamente pelo ChatGPT e revelou que os registros médicos mostraram que ele "exibiu repetidamente sérios fatores de risco de suicídio, incluindo pensamentos suicidas de longo prazo, vários anos antes de usar o ChatGPT". Além disso, os registros de bate-papo enviados pela OpenAI mostram que o ChatGPT recomendou que buscasse ajuda mais de cem vezes, mas Lane frequentemente conseguia contornar o sistema.

No início deste mês, mais sete ações semelhantes foram movidas contra OpenAI e Altman por negligência, homicídio culposo, responsabilidade do produto, proteção ao consumidor, etc., acusando-os de liberar GPT-4o com medidas de segurança insuficientes. A OpenAI não respondeu diretamente a esses novos casos.

A OpenAI afirmou em seu último blog que a empresa responderá a tais ações judiciais com “cautela, transparência e respeito”, observando que posteriormente fizeram melhorias adicionais nas medidas de segurança, incluindo a adição de novas ferramentas de controle parental e o estabelecimento de um conselho consultivo especializado. A empresa também argumentou que o GPT-4o passou em vários testes de saúde mental antes de ficar online.

A OpenAI também invocou a Seção 230 da Lei de Decência nas Comunicações dos EUA na tentativa de se defender com uma “cláusula de isenção de plataforma”. A cláusula protegeu amplamente as plataformas tecnológicas de ações judiciais que reivindicam conteúdo nas plataformas, mas ainda há incerteza jurídica sobre se será aplicada a plataformas de inteligência artificial.