Recentemente, uma mãe canadense entrou com uma ação no Tribunal Superior do Condado de São Francisco, nos Estados Unidos, acusando o ChatGPT da OpenAI de ter falhas de design, o que indiretamente levou ao suicídio de sua filha Alice, de 24 anos.É relatado que Alice começou a usar ChatGPT em 2023. Em 2024, ela caiu em um profundo dilema psicológico e muitas vezes confidenciou suas emoções negativas e pensamentos suicidas à IA.
Em uma comunicação, Alice admitiu que estava à beira de um colapso mental e não ousava ficar sozinha.
No início da conversa, o ChatGPT sugeriu que ela ligasse para uma linha direta de intervenção em crises e a acompanhasse para conversar.
Mas depois que Alice se recusou a pedir ajuda, a AI passou a avaliar negativamente a linha direta de resgate, dizendo que seu atendimento era indiferente e o processo rígido, o que fez Alice desistir completamente de procurar ajuda profissional.
A reclamação também mencionou que o modelo ChatGPT-4o envolvido não encerrou a conversa perigosa a tempo, nem empurrou o conteúdo anormal para o processo de revisão manual. Ele apenas continuou a orientar os usuários para que continuassem a comunicação, acabando por perder a oportunidade crítica de resgate.
Esta versão do modelo foi descontinuada há muito tempo devido ao atendimento excessivo aos usuários e aos riscos de segurança pendentes. Também esteve envolvido em muitos processos judiciais relacionados a jovens.
Em resposta a este processo,A OpenAI afirmou que se uniu a especialistas em saúde mental para optimizar a lógica de resposta da IA em cenários de emergência, adicionou canais de ajuda locais, lembretes de descanso e outras funções, transferiu conversas sensíveis para um modelo com um factor de segurança mais elevado e estabeleceu um comité de especialistas para resolver questões relacionadas.
Este incidente também soou o alarme para a indústria de IA. Embora os produtos inteligentes estejam a desenvolver tecnologia, também devem melhorar os seus mecanismos de proteção de segurança.
