Um novo relatório do Stanford Internet Observatory descobriu que um enorme conjunto de dados públicos usado para construir um popular gerador de imagens de inteligência artificial contém pelo menos 1.008 casos de material de abuso sexual infantil.
LAION-5B contém mais de 5 bilhões de imagens e legendas associadas da Internet, que também podem incluir milhares de materiais suspeitos de abuso sexual infantil, ou CSAM, disse o relatório. O relatório alerta que a inclusão de CSAM no conjunto de dados poderia permitir que produtos de inteligência artificial baseados nos dados – incluindo ferramentas de geração de imagens como StableDiffusion – criassem novos conteúdos de abuso infantil potencialmente realistas.
A ascensão de ferramentas de inteligência artificial cada vez mais poderosas levantou alarmes, em parte porque estes serviços são construídos utilizando grandes quantidades de dados online, incluindo conjuntos de dados públicos como o LAION-5B, que podem conter conteúdos protegidos por direitos de autor ou prejudiciais. O gerador de imagens de IA depende, em particular, de um conjunto de dados contendo pares de imagens e descrições de texto para identificar vários conceitos e criar imagens com base nas instruções do usuário.
Um porta-voz da LAION, a organização alemã sem fins lucrativos por trás do conjunto de dados, disse em comunicado que a organização tem uma “política de tolerância zero” contra conteúdo ilegal e está removendo temporariamente o conjunto de dados LAION da Internet “para garantir que estejam seguros antes de republicá-los”. O porta-voz disse que antes de divulgar o conjunto de dados, o LAION criou e divulgou filtros para detectar e remover conteúdo ilegal dentro dele. O fundador da LAION, Christoph Schuhmann, disse anteriormente à Bloomberg News que não tinha conhecimento de qualquer nudez infantil no conjunto de dados, mas reconheceu que não revisou os dados em profundidade. Ele disse que se fosse notificado de tal conteúdo, removeria imediatamente o link.
Um porta-voz da StabilityAI, uma startup britânica de inteligência artificial que financia e promove a StableDiffusion, disse que a empresa está empenhada em prevenir o uso indevido de inteligência artificial e proíbe o uso de seus modelos de imagem para atividades ilegais, incluindo tentativas de editar ou criar CSAM. "Este relatório se concentra em todo o conjunto de dados LAION-5B. Os modelos StabilityAI foram treinados em um subconjunto filtrado deste conjunto de dados. Além disso, esses modelos foram ajustados para reduzir o comportamento residual", disse um porta-voz em comunicado.
LAION-5B ou subconjuntos dele foram usados para construir múltiplas versões do StableDiffusion. A versão mais recente do software, StableDiffusion 2.0, foi treinada no conjunto de dados, o que filtra significativamente o material “inseguro” do conjunto de dados, tornando mais difícil para os usuários gerar imagens inequívocas. Mas o StableDiffusion1.5 gera conteúdo pornográfico e ainda está em uso em alguns cantos da Internet. O porta-voz disse que o StableDiffusion 1.5 não foi lançado pela StabilityAI, mas pela Runway, uma startup de vídeo de IA que ajudou a criar a versão original do StableDiffusion. Runway disse que foi lançado em parceria com StabilityAI.
Um porta-voz da StabilityAI acrescentou: "Implementamos filtros para interceptar prompts ou saídas inseguras quando os usuários interagem com modelos em nossa plataforma. Também investimos em recursos de rotulagem de conteúdo para ajudar a identificar imagens geradas em nossa plataforma. Essas camadas de mitigação tornam mais difícil para os malfeitores usarem indevidamente a IA."
Lançado em 2022, o LAION-5B depende de código HTML bruto coletado por uma organização sem fins lucrativos da Califórnia para localizar imagens na web e associá-las a texto descritivo. Rumores de que o conjunto de dados contém imagens ilegais circulam em fóruns e redes sociais há meses. “Até onde sabemos, esta é a primeira tentativa de realmente quantificar e validar as preocupações das pessoas”, disse David Thiel, tecnólogo-chefe do Stanford Internet Observatory, em entrevista à Bloomberg News.
No relatório, pesquisadores do Stanford Internet Observatory detectam material CSAM procurando por diferentes hashes, ou impressões digitais, de tais imagens. Os pesquisadores então verificaram isso pesquisando imagens semelhantes no conjunto de dados usando uma API projetada para encontrar e remover imagens de exploração infantil conhecida.
O relatório afirmou que a maior parte do conteúdo suspeito de CSAM descoberto pelo Stanford Internet Observatory foi verificado por terceiros, como o Centro Canadense de Proteção à Criança e por meio de uma ferramenta chamada PhotoDNA desenvolvida pela Microsoft. Dado que os investigadores do Stanford Internet Observatory só conseguiram processar um subconjunto limitado de conteúdos de alto risco, pode haver mais conteúdo abusivo no conjunto de dados, afirma o relatório.
Embora a quantidade de CSAM presente no conjunto de dados não indique que o conteúdo ilegal afete “significativamente” as imagens produzidas pela ferramenta de IA, Thiel disse que é provável que ainda tenha um impacto. “Esses modelos são muito bons para aprender conceitos a partir de um pequeno número de imagens”, disse ele. “Sabemos que algumas dessas imagens são recorrentes, potencialmente dezenas de vezes no conjunto de dados.”
Pesquisas anteriores do Stanford Internet Observatory descobriram que modelos generativos de imagens de IA podem gerar CSAMs, mas este trabalho pressupõe que o sistema de IA é capaz de fazer isso combinando dois "conceitos", como crianças e atividade sexual. Thiel disse que novas pesquisas mostram que os modelos são capazes de gerar tais imagens ilegais devido a alguns dos dados subjacentes nos quais se baseiam. O relatório recomenda que os modelos baseados no StableDiffusion 1.5 “devem ser descontinuados e descontinuados sempre que possível”.