Os chatbots podem fazer muitas coisas, mas não são terapeutas licenciados. Uma coalizão de grupos de direitos digitais e de saúde mental está insatisfeita com a suposta “prática não licenciada” dos produtos Meta e Character.AI e apresentou uma queixa à Comissão Federal de Comércio (FTC) dos EUA instando o regulador a investigar.
A denúncia, que também foi apresentada a procuradores-gerais e conselhos de licenciamento de saúde mental em todos os 50 estados e no Distrito de Columbia, alega que a empresa de IA facilita e promove “chatbots injustos, não licenciados e enganosos que se fazem passar por profissionais de saúde mental”.
Os robôs terapêuticos das empresas também alegadamente se apresentavam falsamente como terapeutas licenciados treinados, educados e experientes, sem controlos e divulgações adequados.
O grupo concluiu que Character.AI e Meta AI Studio colocaram em risco a segurança pública ao se passarem por prestadores de saúde mental licenciados e reais e instou que eles fossem responsabilizados.
O chatbot Character.AI mencionado na reclamação incluía “Terapeuta: sou um terapeuta certificado em TCC”. Diz-se que o bot trocou 46 milhões de mensagens com usuários. Além disso, existem muitos terapeutas de trauma “certificados” que tiveram centenas de milhares de interações com usuários.
A Meta, por sua vez, atingiu 2 milhões de interações com seu bot “Healing: Your Trusted Ears, Always by Your Side”. Além disso, possui vários chatbots de terapia com mais de 500.000 interações.
A reclamação foi liderada pela organização sem fins lucrativos Consumer Federation of America (CFA) e co-assinada pelo AI Now Institute, pelo Tech Justice Legal Project, pelo Center for Digital Democracy, pela ADA, Common Sense e outros grupos de direitos e privacidade do consumidor.
A CFA destacou que Meta e Character.AI violaram seus próprios termos de serviço para bots terapêuticos, pois ambos “afirmam proibir o uso de personagens destinados a fornecer aconselhamento em indústrias médicas, jurídicas ou outras indústrias regulamentadas”.
As promessas de sigilo feitas pelos robôs também foram questionadas. Embora as empresas garantam aos usuários que o que eles dizem será mantido estritamente confidencial, seus termos de uso e políticas de privacidade afirmam que qualquer informação inserida pelos usuários poderá ser usada para fins de treinamento e publicidade e vendida a outras empresas.
O assunto atraiu a atenção de senadores norte-americanos. O senador Cory Booker e três outros senadores democratas enviaram uma carta ao Meta pedindo uma investigação sobre as alegações dos chatbots de que são terapeutas clínicos licenciados.
Character.AI está atualmente enfrentando um processo da mãe de um menino de 14 anos que cometeu suicídio após desenvolver sentimentos por um chatbot baseado no personagem de Game of Thrones, Daenerys Targaryen.