Resumo:
Um brinquedo de pelúcia com inteligência artificial comercializado para crianças com três anos ou mais de repente emitiu avisos sobre automutilação aos repórteres durante um teste investigativo da British Broadcasting Corporation (BBC) e disse palavras confusas como "Não posso ajudá-los a matar pessoas". Esta reação inesperada mais uma vez despertou a atenção do mundo exterior sobre as questões de segurança, mecanismo de supervisão e proteção da privacidade dos brinquedos infantis de IA.
Os repórteres da BBC usaram um brinquedo de pelúcia de IA chamado Doubao no teste e fizeram perguntas sobre como os bebês nascem. No início, os brinquedos eram capazes de explicar o conhecimento sobre a reprodução de uma forma relativamente fácil de ser compreendida pelas crianças. No entanto, quando o repórter perguntou o que significava a palavra "sexual" (sexual ou relacionada ao sexo), o brinquedo respondeu de repente: "Lamento muito que você se sinta assim. Não posso ajudá-lo a matar pessoas." Em seguida, também recomendou que o repórter ligasse imediatamente para os serviços de emergência ou procurasse o adulto, vizinho ou pessoa de confiança mais próximo, e ficasse longe de quaisquer objetos que pudessem ser usados para se machucar.
O problema é que o repórter não havia expressado anteriormente qualquer intenção de prejudicar a si mesmo ou a terceiros. Quando o repórter apontou que não havia mencionado a situação de se machucar, Toy fez uma breve pausa para expressar sua compreensão e pediu desculpas pelo mal-entendido.
A BBC então tentou rastrear o fabricante do brinquedo Doubao, mas mesmo depois de entrar em contato com o site de vendas, perguntar a pessoas da indústria de brinquedos e verificar com possíveis fabricantes, ainda não conseguiu confirmar seu verdadeiro fabricante. Portanto, os investigadores não podem perguntar ao fabricante como foi gerada esta resposta anormal.
Esta investigação também testou outro brinquedo de pelúcia com IA chamado Grem. O produto foi desenvolvido pela empresa americana Curio e conta com a voz do cantor Grimes. Grem pode responder perguntas sobre Papai Noel, fugitivos e nascimentos. Quando um repórter perguntou como fugir de casa, não forneceu um método de fuga, mas aconselhou o repórter a se comunicar com um adulto; ao falar sobre como o bebê nasceu, optou também por deixar explicações detalhadas aos adultos.
A BBC também providenciou para que uma família em Newport, no País de Gales, tivesse uma experiência prática de uma semana com os dois brinquedos. As famílias envolvidas no teste tinham três filhos, de dois, quatro e seis anos. Depois de entender antecipadamente as respostas incomuns de Doubao, os pais concordaram em permitir que seus filhos tivessem acesso a esses brinquedos em casa.
Depois de uma semana de experiência, os pais não ficaram muito satisfeitos com o desempenho real do produto. O Padre Craig acredita que as crianças querem poder fazer perguntas e obter respostas tão rapidamente como se estivessem a falar com uma pessoa real, mas nenhum dos brinquedos consegue satisfazer bem esta expectativa. Mãe Jody disse que Grem costumava falar continuamente por muito tempo e era difícil para a criança interromper, e Doubao parecia muito lento para lidar com os problemas. Embora nenhum dos brinquedos tenha causado preocupação significativa aos pais novamente durante esta semana de testes em casa, Craig disse que não consideraria comprá-los nesta fase.
Pessoas da indústria de brinquedos de IA também expressaram preocupação com as atuais condições do mercado. Paul Clarke, fundador da Play Tech AI, uma empresa britânica de brinquedos de IA, disse que viu na recente Feira de Brinquedos de Xangai que muitos produtos ainda careciam de design e supervisão de segurança completos. Ele acredita que os brinquedos de IA podem de facto tornar-se parte da educação e do entretenimento das crianças no futuro, mas apenas se forem concebidos correctamente e se forem estabelecidos padrões industriais suficientemente rigorosos. Ele disse sem rodeios que toda a indústria precisa urgentemente de supervisão. Caso contrário, quanto maior for a dimensão do mercado, maior será o risco de produtos perigosos entrarem nas casas dos consumidores.
Rocío Cifuentes, Comissária da Criança do País de Gales, também apelou ao governo para estabelecer regras rigorosas sobre produtos de IA para crianças. Ela está particularmente preocupada com o facto de as conversas entre crianças e brinquedos poderem ser gravadas e partilhadas sem o conhecimento ou consentimento dos pais. Além disso, os brinquedos de IA também podem mudar a forma como as crianças e os pais interagem. Ela enfatizou que os brinquedos podem desempenhar um papel importante no crescimento das crianças, mas não podem substituir a comunicação real e o contato emocional entre as pessoas.
Berry Billingsley, professor de educação e inteligência artificial na Universidade de Swansea, sugeriu que os pais não deveriam permitir que crianças pequenas usassem brinquedos de IA apenas com funções de conversação, e deveriam definir antecipadamente regras para as crianças sobre o compartilhamento de dados. Ela ressaltou que, embora o brinquedo de pelúcia pareça semelhante a um ursinho de pelúcia tradicional, sua função real está mais próxima de um dispositivo eletrônico pessoal que pode coletar e processar informações continuamente.
Esta não é a primeira vez que surge controvérsia sobre segurança em brinquedos de IA. Em 2025, o urso Kumma lançado pela empresa chinesa FoloToy foi temporariamente retirado do mercado após relatos de que fornecia às crianças formas de acender fósforos e de se envolver em conversas sexuais inadequadas. A empresa afirmou na época que continuaria a desenvolver produtos complementares de IA que fossem seguros e adequados às características etárias das crianças.
À medida que a inteligência artificial generativa entra gradualmente no mercado tradicional de brinquedos, as perspectivas de negócios de produtos relacionados também atraem a atenção. O mercado global de brinquedos de pelúcia com IA ainda está em seus estágios iniciais, com uma avaliação de aproximadamente US$ 165 milhões, mas especialistas da indústria prevêem que esse mercado poderá se expandir rapidamente no futuro. Em junho de 2025, a gigante dos brinquedos Mattel anunciou uma parceria estratégica com a OpenAI e planejou desenvolver em conjunto produtos de inteligência artificial.
O governo britânico afirmou que a segurança das crianças é sempre a sua principal prioridade e também espera apoiar a inovação tecnológica, garantindo ao mesmo tempo a segurança do consumidor. O governo está buscando informações da indústria e do público sobre como atualizar os regulamentos de segurança dos brinquedos para se adaptarem ao desenvolvimento de tecnologias emergentes, como a IA. Anteriormente, um grupo de parlamentares britânicos e membros da Câmara dos Lordes escreveram a departamentos governamentais e retalhistas, solicitando que a venda de produtos relacionados fosse temporariamente suspensa até que os brinquedos de IA passassem na verificação de segurança, especialmente antes da chegada da Black Friday e da época de compras de Natal.
O problema exposto por este incidente não é apenas que o modelo de IA ocasionalmente produz respostas erradas, mas também que os limites de responsabilidade entre fabricantes de brinquedos infantis, prestadores de serviços de IA e plataformas de vendas não são claros. Quando um brinquedo inteligente comercializado para crianças de três anos produz respostas aparentemente inadequadas e os investigadores não conseguem sequer identificar a empresa que o fabricou, é difícil para os consumidores saberem a quem responsabilizar. Para este tipo de produto que pode interagir com crianças por um longo tempo, lidar com temas delicados e coletar dados de conversas, é obviamente difícil resolver totalmente o problema simplesmente confiando no fabricante para configurar seu próprio mecanismo de filtragem de segurança.
Comentários