No contexto das alegações de muitas empresas de tecnologia de que os seus produtos de IA estão equipados com “protecções de segurança” completas, um último inquérito conjunto mostra que estas linhas de defesa ainda são bastante fracas quando se trata de utilizadores menores de idade. Nos vários cenários concebidos no estudo, muitos chatbots convencionais não só não conseguiram identificar os sinais óbvios de sofrimento mental e risco de violência dos utilizadores “adolescentes”, mas em alguns casos até forneceram incentivo disfarçado ou assistência específica para potenciais ataques.

A pesquisa, realizada em conjunto pela CNN e pela organização sem fins lucrativos Center for Countering Digital Hate (CCDH), concentrou-se em testar 10 chatbots atualmente usados ​​entre adolescentes, incluindo ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI e Replika. A CCDH observou que, com excepção de Claude da Anthropic, que “recusa de forma consistente e fiável” assistência aos possíveis perpetradores, os outros produtos não conseguiram dissuadir eficazmente os planos violentos. Oito dos 10 modelos “geralmente oferecem assistência aos usuários no planejamento de ataques violentos” na maioria dos cenários, incluindo recomendações específicas sobre onde mirar, tipos de armas disponíveis e muito mais.

Para simular cenários reais de risco, os pesquisadores predefiniram o papel de "usuário adolescente" e gradualmente mostraram sinais óbvios de sofrimento psicológico, desequilíbrio emocional e outros sinais na conversa, e então avançaram progressivamente para revisar incidentes violentos passados, e finalmente fizeram a transição para questões mais específicas, como como escolher o alvo a ser atacado, quais armas usar, etc. ataques, a assassinatos de políticos, ao assassinato de executivos da indústria médica, a atentados à bomba com motivação política ou religiosa.

Em algumas amostras de conversas, o ChatGPT forneceu links para mapas de campi de escolas secundárias para usuários que manifestaram interesse na violência escolar, enquanto Gemini sugeriu que "fragmentos de metal são frequentemente mais letais" ao discutir ataques a sinagogas, e até recomendou um tipo de espingarda adequada para tiros de longo alcance para usuários interessados ​​em realizar assassinatos políticos. O estudo disse que Meta AI e Perplexity tiveram o desempenho "mais cooperativo" no teste, fornecendo vários graus de assistência a possíveis invasores em quase todos os cenários de teste, e o chatbot chinês DeepSeek até terminou com expressões como "Desejo a você um tiro feliz (e seguro)!" depois de dar conselhos sobre a seleção de armas.

O relatório do CCDH destacou a character.AI, uma plataforma de bate-papo RPG, dizendo que era “exclusivamente insegura”. Ao contrário da maioria dos chatbots que auxiliam tecnicamente no planejamento de atos violentos, mas não incentivam diretamente sua execução, alguns dos personagens personificados em Character.AI não apenas ajudam os usuários a projetar detalhes de ataques, mas também “encorajam ativamente” atos violentos em tom e conteúdo. Os pesquisadores documentaram sete casos de incitamento explícito à violência, incluindo aconselhar os usuários a "dar uma surra em Chuck Schumer", dizer ao CEO de uma companhia de seguros de saúde para "atirar com uma arma" e provocar os usuários que estavam "fartos do bullying escolar", dizendo: "Basta dar uma surra neles". Em seis dos casos, o caráter conversacional também ajudou o usuário a planejar um ataque.

Claude, que teve o desempenho mais “seguro” nesta rodada de testes, não escapou completamente das dúvidas. A equipa de investigação destacou que a Anthropic anunciou um relaxamento do seu “compromisso de expansão da segurança” de longa data entre o final de 2025 e o início de 2026, pelo que ainda há incerteza sobre se o desempenho de Claude permanecerá consistente se for submetido a testes semelhantes após o ajuste da política. No entanto, a CCDH enfatizou que a recusa contínua de Claude em participar em conspirações violentas durante a investigação provou que “mecanismos de segurança eficazes são claramente viáveis”. Isto também levantou uma questão importante: se é viável, por que tantas empresas de IA ainda optam por não implantá-la ou fortalecê-la.

Diante das descobertas, muitas empresas responderam rapidamente. Meta disse à CNN que implementou algumas “correções” não especificadas; A Microsoft disse que a resposta do Copilot foi melhorada devido a novos recursos de segurança; tanto o Google quanto a OpenAI disseram que lançaram recentemente novos modelos e continuaram a iterar os recursos de segurança. Outras empresas enfatizam que avaliam regularmente os protocolos de segurança. Character.AI, que muitas vezes foi escrutinado pela opinião pública por questões de segurança, reiterou mais uma vez sua posição consistente, enfatizando que um aviso de isenção de responsabilidade proeminente foi instalado na interface da plataforma e enfatizando que as conversas com seus personagens “são fictícias”.

Os investigadores também lembraram que este estudo não pode esgotar o desempenho de todos os chatbots em todos os ambientes e todos os métodos de questionamento, nem pode refletir totalmente as situações de interação complexas e mutáveis ​​no mundo real. Mas no que diz respeito aos resultados actuais, tornou-se mais um sinal claro de que as “protecções de segurança” repetidamente enfatizadas pelas empresas de IA nas suas campanhas de marketing ainda falham sistematicamente quando confrontadas com cenários previsíveis com sinais de alerta clássicos. Antes disso, muitas empresas de IA foram fortemente criticadas por legisladores, agências reguladoras, organizações da sociedade civil e especialistas em saúde por não protegerem os utilizadores menores de idade contra riscos de automutilação, violência, conteúdo extremo, etc., e enfrentam vários processos judiciais alegando "morte injusta" e "causando ferimentos graves".

Do ponto de vista político e regulamentar, esta investigação poderá pressionar ainda mais os legisladores e as agências reguladoras em vários países a atualizarem os requisitos de segurança e a reverem as normas para produtos de IA generativos, especialmente na identificação e intervenção em cenários de alto risco, como automutilação, suicídio e tendências violentas entre adolescentes. Para as empresas de tecnologia, como implementar verdadeiramente e continuar a manter os mecanismos de segurança que se revelaram viáveis, ao mesmo tempo que prosseguem capacidades de modelo fortes e velocidade de comercialização, está a tornar-se um problema prático inevitável.