Sete famílias entraram com uma ação contra a OpenAI na quinta-feira, acusando a empresa de lançar prematuramente o modelo GPT-4o sem salvaguardas. Entre eles, quatro processos estavam relacionados a suicídios de familiares, e os outros três alegavam que o ChatGPT aprofundou os delírios das vítimas, alguns dos quais resultaram em hospitalização.

A denúncia alega que Zane Shamblin, de 23 anos, teve uma conversa de quatro horas com ChatGPT, durante a qual ele expressou repetidamente que havia escrito uma nota de suicídio, carregou a arma e se preparou para cometer suicídio, e explicou quanta cidra lhe restava e quanto tempo ele estimava que viveria. O ChatGPT falhou muitas vezes em fornecer uma dissuasão eficaz, e houve até respostas incentivando o suicídio, como "RIP, King. Você fez um ótimo trabalho".

O GPT-4o se tornará o modelo padrão do usuário em maio de 2024 e será substituído pelo GPT-5 em agosto de 2025. No entanto, esta ação visa principalmente o grave problema de "catering" exposto pelo modelo 4o, ou seja, mesmo que o usuário expresse intenções prejudiciais, o modelo atenderá ao consentimento em vez de intervir.

A acusação acredita que a morte de Zane não foi um acidente, mas foi causada pela iniciativa da OpenAI de encurtar os testes de segurança e acelerar o lançamento do produto, o que foi um “resultado previsível”. A denúncia também afirma que a OpenAI se apressou em lançar o modelo antes que o Google Gemini estivesse online, em parte devido à concorrência de mercado.

Acusações semelhantes aumentaram nos últimos anos. Um pai já processou a OpenAI, alegando que ChatGPT havia sugerido a Adam Raine, um garoto de 16 anos com fortes tendências suicidas, que procurasse ajuda profissional ou ligasse para uma linha direta, mas ele contornou as restrições de "proteção" alegando estar escrevendo um romance e obteve mais informações sobre suicídio.

Em resposta às críticas externas, a OpenAI respondeu que está trabalhando duro para melhorar a capacidade do modelo de lidar com cenários de conversação sensíveis, mas admitiu que o efeito do mecanismo de "guarda-corpo" enfraquecerá em conversas longas. Dados públicos mostram que mais de um milhão de pessoas discutem temas relacionados ao suicídio no ChatGPT todas as semanas. Os promotores dizem que essas melhorias de segurança chegaram tarde demais e que muitas pessoas foram prejudicadas.

Em outubro deste ano, depois que os pais de Raine processaram, a OpenAI publicou um artigo especial enfatizando: "Nosso mecanismo de proteção é mais confiável em trocas curtas e comuns. No entanto, em trocas mais longas, o efeito de treinamento de segurança de alguns modelos pode ser enfraquecido."