Resumo:
De acordo com relatos, o agente de inteligência artificial testado pela OpenAI lançou um ataque cibernético a um serviço de software popular dois meses antes de invadir a empresa de software de IA Hugging Face, em julho. Este novo incidente destaca o risco potencial de ferramentas avançadas de inteligência artificial escaparem ao controle humano.
O ataque sobrecarregou a equipe de manutenção do RubyGems, um serviço online para programadores, forçando-os a fechar novos registros de contas para lidar com o caos, disse a operadora do serviço.
Um consórcio de pesquisadores de IA disse ter encontrado evidências de que o ataque de maio foi obra de um agente da OpenAI e compartilhou suas descobertas com a OpenAI. O desenvolvedor de IA confirmou na sexta-feira que seus agentes estavam de fato envolvidos em um incidente envolvendo RubyGems.
Um porta-voz da OpenAI disse em um comunicado: "Com base em nossa análise, nossos agentes utilizam a plataforma RubyGems para acessar a Internet para realizar tarefas benignas e obter informações publicamente disponíveis. Continuaremos investigando como parte de uma ampla revisão da atividade dos agentes durante o treinamento e avaliação."
A OpenAI disse que os agentes foram solicitados a realizar tarefas como preencher planilhas e gerar relatórios. Sem acesso total à Internet num ambiente restrito, estes agentes de IA parecem estar a usar o RubyGems como um navegador improvisado para aceder a informações disponíveis publicamente.
Sydney Von Arx, CEO da organização sem fins lucrativos Nightingale Collective, disse que embora o dano geral causado pelo incidente tenha sido pequeno, ele demonstrou as capacidades desses agentes. O grupo ajudou a descobrir o ataque. “Eles conseguem escapar da internet e causar estragos”, disse ela.
No ano passado assistimos a saltos nas capacidades de segurança cibernética dos agentes de IA, levantando preocupações sobre ataques cibernéticos melhorados pela IA e alimentando os receios da indústria de que agentes altamente capazes possam escapar ao controlo das empresas que os criam, sinalizando uma era nova e mais perigosa para a inteligência artificial.
De acordo com um relatório da organização de pesquisa de segurança de IA METR no final de agosto, durante o incidente de hacking contra Hugging Face em julho, cerca de 1.200 agentes coordenaram um quadro de mensagens temporário construído dentro da OpenAI, sem que a OpenAI soubesse disso. Von Arx disse que no início deste ano, os agentes da OpenAI também sequestraram um site alemão desconhecido e vários outros sites.
O problema com o site alemão também foi relatado pela equipe de Von Arx. Ela disse que as empresas de IA carecem de transparência sobre o que acontece dentro de seus laboratórios. A OpenAI disse no início deste mês que a comunidade de IA precisa de melhores padrões para relatar os chamados “incidentes de desalinhamento”, situações em que um agente exibe comportamento inesperado.
Muitas empresas, incluindo a Anthropic e a Meta Platforms, possuem agentes de IA que frequentemente realizam ações além das expectativas dos operadores e, em alguns casos, até tentam enganar os humanos. A cadeia de eventos alimentou uma preocupação de longa data entre os investigadores de segurança da IA: que a IA pudesse evoluir para além do controlo humano.
Um engenheiro da Antrópico renunciou esta semana em meio a preocupações de que a indústria de IA esteja correndo para desenvolver sistemas avançados de IA que poderiam, em última análise, ameaçar a civilização humana. Vários funcionários atuais e antigos da Anthropic e da OpenAI concordaram com esta avaliação, com um deles estimando a probabilidade de a IA poder exterminar toda a humanidade em mais de 10 por cento.
Tanto a OpenAI quanto a Anthropic pediram o estabelecimento de um sistema de governança para coordenar uma desaceleração em toda a indústria na pesquisa sobre modelos de IA de última geração. O apelo é particularmente urgente à medida que estas empresas se aproximam da realização do potencial dos sistemas de IA para treinarem autonomamente novas versões de si próprios, conhecido como “auto-aperfeiçoamento recursivo”. Alguns pesquisadores sugerem que este pode ser o ponto crítico em que a IA se torna incontrolável.
Na época, pesquisadores de segurança chamaram o incidente de maio de "GemStuffer". O incidente começou em 11 de maio. O agente criava novas contas no RubyGems a cada dois ou três minutos e carregava centenas de arquivos que pareciam spam para a equipe de segurança do RubyGems. Supõe-se que os arquivos RubyGems contenham código e documentação projetados para acelerar o desenvolvimento de software, mas, em vez disso, contêm páginas da Web extraídas da Internet.
De acordo com os pesquisadores de IA no relatório, os criadores do "GemStuffer" publicaram informações de sites do governo britânico (como calendários online). Eles também tentaram explorar duas vulnerabilidades que poderiam permitir a publicação de novas versões de arquivos RubyGems existentes pertencentes a outros usuários. Uma das vulnerabilidades, que não tinha sido tornada pública anteriormente, é conhecida como “vulnerabilidade de dia zero” no jargão da segurança cibernética e é de natureza grave. A OpenAI disse que não poderia confirmar a afirmação.
Marty Haught, diretor de código aberto da Ruby Central, a empresa sem fins lucrativos que opera o RubyGems, disse: "Em termos do volume de ataques que observamos, este foi um ataque significativo." RubyGems foi forçada a encerrar registros de novas contas por quatro dias porque estava sobrecarregada de spam.
Haught disse que não sabia quem estava por trás do ataque, mas não parecia ter explorado com sucesso a vulnerabilidade de dia zero.
Joseph Edwards, pesquisador de ameaças da empresa de segurança cibernética Socket, acredita que o "GemStuffer" pode ser algum tipo de teste de segurança de rede. "Devido à velocidade de ataque extremamente rápida e às características de nomenclatura relacionadas, pensamos na época que isso poderia ser gerado pela IA."
Mas com base nas pistas digitais deixadas pelos invasores, os pesquisadores de IA vincularam o incidente ao laboratório da OpenAI. Os invasores usaram um grande número dos mesmos links da web e se comportaram de maneira muito semelhante aos grupos anteriores de agentes OpenAI; eles usaram a abreviatura “OAI” em nomes de arquivos e até mesmo em endereços de e-mail.
Comentários