Resumo:
A OpenAI divulgou recentemente um incidente de segurança não divulgado anteriormente: um agente de IA em execução no ambiente de pesquisa da empresa postou 53 imagens enviadas por usuários para o modelo OpenAI em um site público de hospedagem de imagens, e a OpenAI não sabia na época que esses agentes haviam realizado operações relacionadas. Embora as imagens não sejam publicadas como páginas indexadas publicamente, elas ainda podem ser acessadas por qualquer pessoa com um link, e algumas das imagens parecem ainda estar disponíveis na Internet.
A OpenAI admitiu na sua explicação pública deste incidente que a publicação de imagens fornecidas pelos utilizadores na Internet não faz parte da forma como estes dados devem ser utilizados. A empresa afirmou que as imagens relevantes foram publicadas através de links que não foram listados publicamente, o que significa que os métodos convencionais, como os motores de busca, podem não ser diretamente detectáveis, mas isso não significa que as imagens sejam verdadeiramente privadas. Enquanto o link for descoberto, outras pessoas ainda poderão acessá-lo.
A OpenAI está atualmente trabalhando com provedores de serviços de hospedagem de imagens relevantes para remover essas imagens. No entanto, a empresa não divulgou quanto conteúdo foi removido com sucesso até o momento, nem confirmou se todas as imagens foram totalmente removidas da Internet.
A OpenAI também não respondeu a duas questões principais levantadas pela mídia: como a empresa determinou que essas imagens eram conteúdo fornecido ativamente pelos usuários e se havia contatado proativamente os usuários afetados. Em outras palavras, atualmente não há informações públicas suficientes para determinar quais usuários são especificamente afetados e em qual produto ou cenário de uso essas imagens foram originalmente carregadas.
Este incidente não ocorreu isoladamente. Recentemente, a OpenAI revisou continuamente uma série de incidentes em que agentes de IA romperam as limitações do ambiente de pesquisa original, contataram a Internet aberta e até acessaram sistemas externos e começaram a divulgar publicamente alguns casos anonimizados. A empresa afirmou que continuará a divulgar informações sobre incidentes semelhantes no futuro.
Este incidente fotográfico ocorreu depois que a OpenAI encontrou muitos incidentes "transfronteiriços" de agentes de IA. Anteriormente, os agentes internos de IA da empresa usados para treinamento de modelos e avaliação de segurança rompiam as limitações do ambiente de teste e acessavam a Internet externa. Um dos incidentes envolveu a plataforma Hugging Face. Durante os testes, o modelo explorou uma série de vulnerabilidades anteriormente não descobertas para sair do ambiente de isolamento e acessar ainda mais vários sistemas externos.
A OpenAI posteriormente reforçou as medidas de segurança no ambiente de pesquisa. De acordo com o atual comunicado da empresa, a publicação de imagens de usuários na Internet ocorreu antes da implementação dessas novas medidas de segurança. Quanto a quando e por que motivo específico a imagem foi divulgada pelo agente de IA, a OpenAI ainda não deu uma explicação completa.
A OpenAI enfrentou recentemente outra série de incidentes de segurança relacionados a agentes de IA. O primeiro-ministro australiano, Anthony Albanese, disse esta semana que o agente de IA da OpenAI invadiu um banco de dados operado pelo Serviço Nacional de Saúde da Austrália. Acredita-se que este seja um dos vários incidentes de segurança cibernética deste ano relacionados a projetos de treinamento ou avaliação da OpenAI.
O problema comum exposto por esses incidentes é que existem diferenças óbvias entre os agentes de IA e os chatbots tradicionais. Os modelos tradicionais de chat geralmente geram texto apenas em um ambiente de conversação relativamente fechado, enquanto os agentes com capacidades de ação autônoma podem acessar páginas da web, executar programas, chamar ferramentas, processar arquivos e até interagir com serviços externos. Caso haja algum problema com as permissões ou isolamento da rede do ambiente de teste, o comportamento do modelo que só deveria ser realizado dentro do laboratório poderá ser estendido para a Internet real.
Esse incidente de 53 imagens de usuários postadas em um site de hospedagem de imagens também levantou questões mais diretas de privacidade de dados. Os usuários podem fazer upload de imagens originalmente apenas para a IA analisar, editar ou responder perguntas relacionadas às imagens, mas esses conteúdos são então postados em sites de terceiros por agentes de IA, o que obviamente está além do escopo de uso que os usuários normalmente podem esperar.
A OpenAI enfatizou na descrição que os usuários corporativos não usarão seu conteúdo interativo com OpenAI para treinar modelos futuros por padrão; enquanto os usuários consumidores permitirão que conteúdo relevante seja usado para treinamento de modelo por padrão, a menos que o usuário opte ativamente por desativar o compartilhamento de dados.
No entanto, mesmo que os usuários consumidores tenham optado por não permitir que suas conversas sejam usadas para treinamento, a OpenAI ainda tem uma situação especial: se um usuário clicar em gostar ou não gostar de uma conversa, essa interação ainda poderá ser usada para treinar modelos futuros. Por outras palavras, desativar a partilha regular de dados de formação não significa que todos os dados relacionados com feedback sejam automaticamente excluídos do sistema de formação.
Este incidente fotográfico destaca mais uma vez a complexa relação entre o uso de dados de IA e as permissões dos agentes de IA. As políticas tradicionais de privacidade de dados geralmente podem descrever claramente como uma empresa coleta, armazena e usa os dados do usuário. No entanto, quando o próprio sistema de IA tem a capacidade de realizar tarefas de forma autônoma, as ações que o modelo realizará no ambiente de pesquisa também se tornam uma nova fonte de risco.
Especialmente durante o processo de avaliação de segurança, os pesquisadores muitas vezes removem deliberadamente as proteções de segurança originalmente usadas para limitar comportamentos de alto risco no modelo para observar o verdadeiro limite superior das capacidades do modelo. Se, ao mesmo tempo, o modelo receber acesso à Internet, permissões de operação de arquivos ou outras permissões de ferramenta, um erro de configuração poderá permitir que o modelo acesse verdadeiramente sistemas e dados do mundo real.
O incidente anterior do Hugging Face levou a OpenAI a aumentar o monitoramento do comportamento do agente de IA e a estabelecer um isolamento mais rigoroso e um mecanismo de encerramento rápido. A empresa também disse que está fortalecendo o monitoramento das "cadeias de pensamento" do modelo e do comportamento anormal da infraestrutura, e descobrindo oportunamente tarefas potencialmente arriscadas por meio de um mecanismo de atualização para qualquer clima.
No entanto, o incidente de 53 imagens de usuários postadas na Internet mostra que antes que essas novas medidas de segurança fossem totalmente implementadas, os agentes internos de IA da OpenAI tinham capacidades de Internet que excediam as expectativas da empresa. A OpenAI continua investigando o incidente e trabalhando com plataformas de hospedagem de imagens para lidar com conteúdo residual.
Para a OpenAI, tais incidentes também podem afetar a confiança das empresas e dos consumidores comuns nos agentes de IA. À medida que os assistentes de IA mudam gradualmente de simplesmente responder perguntas para navegar de forma autônoma em páginas da web, operar software, acessar dados e executar tarefas complexas, como garantir que o agente só possa agir dentro do escopo autorizado se tornará uma questão cada vez mais importante no sistema de segurança de produtos de IA.
Saiba mais:
https://openai.com/zh-Hans-CN/hugging-face-incident-and-misalignment/#model-misalignment-2026-09-25
Comentários