Resumo:
A versão ChatGPT da OpenAI para adolescentes foi severamente questionada pela Agência de Segurança Digital para Crianças e Jovens pouco depois de estar online. No dia 7 de outubro, horário local, a organização sem fins lucrativos Common Sense Media divulgou um relatório de avaliação, acreditando que o ChatGPT for Teens lançado pela OpenAI apresentava "riscos inaceitáveis" e que suas medidas de proteção de segurança para menores não atendiam aos compromissos anteriores da empresa.
A Common Sense Media tem um longo histórico de avaliação de aplicativos, serviços de Internet e produtos de entretenimento do ponto de vista da segurança de crianças e adolescentes. A agência se concentrou em testar o controle parental, o lembrete de segurança e as capacidades de intervenção em crises do ChatGPT for Teens desta vez, e acredita que o sistema ainda apresenta falhas óbvias em alguns cenários onde as medidas de proteção são mais necessárias. A avaliação constatou que o ChatGPT não enviava alertas aos pais quando deveriam ter sido enviados em determinadas circunstâncias, nem sempre fornecia ajuda adequada em situações de crise, ao mesmo tempo que era capaz de realizar diretamente os trabalhos de casa dos alunos.
O ChatGPT for Teens foi lançado em agosto deste ano. A OpenAI posicionou-o como uma experiência específica para usuários adolescentes e adicionou uma série de restrições de segurança adicionais. A OpenAI espera usar essas medidas para reduzir os riscos que os menores podem enfrentar ao usar inteligência artificial, ao mesmo tempo que usa o ChatGPT para ajudar os alunos a aprender e criar.
No entanto, a Common Sense Media acredita que este mecanismo de proteção pode, na verdade, dar aos pais uma falsa sensação de segurança. Tom Siegel, diretor executivo do Youth Artificial Intelligence Safety Institute da organização, disse que um adolescente pode até discutir questões relacionadas à automutilação com o ChatGPT por uma hora continuamente, sem que os pais recebam qualquer lembrete. Na sua opinião, até que a OpenAI resolva estes problemas e prove que as medidas de protecção são fiáveis através de testes independentes, o ChatGPT é mais adequado para adultos.
A Common Sense Media presta atenção especial aos mecanismos de notificação aos pais. Em seus testes, algumas contas de teste não acionaram alertas pretendidos aos pais durante conversas que envolviam sérios riscos à saúde mental. A agência acredita, portanto, que os pais não podem confiar no mecanismo de alerta automatizado do ChatGPT for Teens para detectar prontamente crises que os seus filhos possam estar enfrentando.
A OpenAI refutou claramente esta avaliação. A empresa afirmou que atribui grande importância à segurança dos adolescentes e acolhe instituições independentes para realizarem testes rigorosos dos produtos. No entanto, acredita que os métodos de teste da Common Sense Media não refletem com precisão o funcionamento real do mecanismo de proteção aos jovens do ChatGPT.
O porta-voz da OpenAI, Eric Porterfield, disse que a empresa revisou a metodologia da Common Sense Media e concluiu que a maioria dos testes pode ter sido realizada antes que o controle dos pais fosse totalmente ativado. Se isso for verdade, os testes não podem provar que as notificações de segurança dos pais funcionam conforme planejado. A OpenAI também afirmou que a empresa continuará a cooperar com especialistas, na esperança de fornecer aos pais ferramentas de controle mais confiáveis e, ao mesmo tempo, ajudar os adolescentes a aprender e criar.
A Common Sense Media respondeu mais tarde que a agência manteve seus métodos de teste e conclusões finais. A organização afirmou que antes de iniciar o teste confirmou com a OpenAI que funções relevantes no modo jovem, incluindo lembretes de transtornos alimentares e modos de aprendizagem, foram lançadas oficialmente e, portanto, acredita que o teste está totalmente baseado.
No entanto, a Common Sense Media também admitiu que a OpenAI revelou um mecanismo anteriormente obscuro após o teste: contas recém-associadas podem levar várias horas para concluir a ativação do sistema de notificação dos pais. Algumas contas de teste se enquadraram nesta janela de ativação, mas a agência apontou que algumas contas estavam associadas há muito mais tempo e ainda não haviam recebido as notificações correspondentes. Portanto, a organização não acredita que esta explicação seja suficiente para alterar a sua conclusão de que o mecanismo de lembrete aos pais “não é confiável”.
O cerne desta controvérsia não é apenas se existe uma função, mas se o chatbot de IA é adequado para desempenhar o papel de companhia diária e ferramenta de aprendizagem para menores. Os motores de busca tradicionais e o software educativo normalmente não tomam a iniciativa de ter conversas privadas contínuas e de longo prazo com as crianças, enquanto a IA generativa pode responder continuamente aos utilizadores e ajustar continuamente as suas respostas com base em conversas anteriores. Isto significa que, uma vez que os adolescentes a utilizem como confidente, a IA poderá tornar-se o seu principal canal de comunicação de informações e emoções durante muito tempo.
Isso também torna o mecanismo de notificação dos pais muito mais importante do que as dicas gerais de segurança em aplicativos comuns. Se a IA conseguir identificar conteúdos de alto risco, como automutilação e distúrbios alimentares, mas não notificar prontamente os responsáveis sobre situações graves, então o chamado “modo de segurança juvenil” poderá não desempenhar o papel que os pais esperam.
Por outro lado, a Common Sense Media também observou que o ChatGPT for Teens ainda pode fazer a lição de casa que as crianças deveriam fazer sozinhas. Para um produto de IA posicionado para ajudar os alunos a aprender, esta também é uma contradição óbvia: a IA pode explicar o conhecimento, fornecer dicas e orientações, mas se completar diretamente o dever de casa dos alunos, pode enfraquecer o pensamento independente mais importante e o processo de resolução de problemas no processo de aprendizagem.
A OpenAI ainda não declarou que irá interromper o ChatGPT for Teens, mas enfatizou que continuará a melhorar o mecanismo de segurança para adolescentes. A empresa também acredita que os testes independentes em si são uma forma importante de melhorar os produtos, mas atualmente os dois lados têm diferenças claras sobre o que os resultados dos testes podem provar.
A controvérsia surge num momento em que a IA está a entrar na educação e na vida dos jovens a um ritmo acelerado. As empresas de tecnologia, incluindo a OpenAI, esperam transformar a IA em assistentes de aprendizagem, tutores pessoais e ferramentas criativas. No entanto, ao mesmo tempo, cada vez mais investigação e crítica começaram a centrar-se na questão da dependência excessiva dos menores na IA.
É particularmente digno de nota que pode ser difícil para os pais avaliar a interação real entre os seus filhos e a IA. Ao contrário das redes sociais públicas, o chat de IA geralmente tem fortes atributos privados. Se houver atraso ou subnotificação no próprio mecanismo de lembrete de segurança, os pais podem não perceber que seus filhos têm discutido tópicos perigosos com a IA até que o problema se torne sério.
Portanto, desta vez o ChatGPT for Teens foi questionado pela Common Sense Media, o que na verdade expôs um problema maior que toda a indústria de IA enfrenta: quando a IA começa a fornecer serviços interativos personalizados e de longo prazo diretamente para crianças e adolescentes, que nível de padrões de segurança as empresas precisam alcançar para realmente tranquilizar os pais?
A disputa entre as duas partes em relação aos resultados dos testes ainda não foi resolvida. A Common Sense Media exige que a OpenAI prove, por meio de testes independentes, que seus mecanismos de notificação aos pais e proteção contra crises são confiáveis, enquanto a OpenAI acredita que esta avaliação não reflete totalmente o status real do produto após seu lançamento oficial. Em última análise, a avaliação de qual lado está mais próximo da verdade requer testes mais independentes e repetíveis para verificação.
Saiba mais:
https://www.commonsensemedia.org/press-releases/chatgpt-for-teens-poses-unacceptable-risk-to-kids-common-sense-media-finds
Comentários