Recentemente, Hugging Face, a maior comunidade de código aberto de IA do mundo, revelou que detectou e continha uma intrusão de IA em uma infraestrutura de produção e usou análise forense de IA para se defender contra ela. No final, o que ajudou a completar sua defesa com sucesso não foi o modelo de ponta americano por trás da API comercial, mas o modelo chinês de código aberto GLM 5.2.
Após o incidente, a empresa aconselhou publicamente os defensores a “ter um modelo examinado e prontamente disponível que seja executado em sua própria infraestrutura antes que ocorra um ataque), tanto para evitar ser preso por grades de proteção quanto para evitar que dados e credenciais do invasor saiam de seu ambiente”.
Hugging Face foi “hackeado”, um agente puro de IA atacado de forma independente
Em um relatório de incidente pouco detalhado em 16 de julho, Hugging Face disse que sua infraestrutura de produção foi comprometida por um sistema de agente de IA "autônomo" durante a semana de 13 de julho. Um invasor desconhecido "abusou de dois caminhos de execução de código no pipeline de processamento do conjunto de dados Hugging Face: o carregador remoto do conjunto de dados de código e a injeção de modelo na configuração do conjunto de dados para executar código no processamento de nós de trabalho (ou seja, instâncias de computação)."
Eles então "escalaram para o acesso em nível de nó no fim de semana, coletaram credenciais de nuvem e cluster e migraram lateralmente para vários clusters locais ao longo de um fim de semana. Os invasores usaram" uma série de sandboxes de curta duração e colocaram comando e controle de 'automigração' (C2) em serviços públicos ", disse a empresa.
O acesso não autorizado afetou um pequeno número de conjuntos de dados internos e credenciais de serviço, mas a Hugging Face não encontrou nenhuma evidência de adulteração de modelos públicos, conjuntos de dados, Spaces ou sua cadeia de fornecimento de software, e sua cadeia de fornecimento (imagens de contêineres e pacotes publicados) foi “verificada como limpa”.
Hugging Face disse aos clientes: “Recomendamos alternar todos os tokens de acesso e revisar as atividades recentes em sua conta”. A empresa disse que “ainda está concluindo sua avaliação para saber se os dados de parceiros ou clientes foram afetados” e entrará em contato diretamente com os clientes afetados se forem encontradas evidências.
O que foi único nesta operação foi a sua autonomia e escala. A intrusão foi impulsionada do início ao fim por um sistema de agentes autónomos de IA que realizaram milhares de operações independentes num grande número de sandboxes de curta duração, utilizando uma infra-estrutura de comando e controlo auto-migratória que foi apoiada em serviços públicos e que a Hugging Face também aproveitou em grande medida a sua própria IA para detecção e criação de perfis.
A empresa disse no relatório que a estrutura do agente autônomo que lançou o ataque parece ter sido construída com base em um kit de ferramentas de pesquisa de segurança do agente, e o LLM usado é desconhecido, o que é consistente com a previsão de longo prazo da indústria de um cenário de "agente atacante".
Ao mesmo tempo, este incidente também reflecte uma tendência mais ampla da indústria: as ferramentas de IA ofensivas autónomas passaram da teoria à prática, reduzindo o custo da condução de campanhas de ataque em larga escala, pacientes e em vários estágios, e de execução a velocidades semelhantes às de uma máquina.
Recentemente, a empresa de segurança Sysdig divulgou um caso que chama de “JADEPUFFER”, descrito como a primeira operação de ransomware totalmente autônoma conduzida por IA, na qual um agente de IA comprometeu de forma independente um servidor exposto à Internet, moveu lateralmente, criptografou arquivos e emitiu um pedido de resgate, tudo sem intervenção humana.
É relatado que o Centro Nacional de Segurança Cibernética do Reino Unido lançou o programa “Cyber Shield” para implantar defesas baseadas em IA em todo o país em resposta.
"Greve" do modelo de fronteira comercial dos EUA, GLM-5.2 entra em batalha para responder
“Quando iniciamos a análise de log, usamos pela primeira vez o modelo de ponta por trás de uma API comercial. Isso não teve sucesso: a análise exigiu o envio de um grande número de comandos de ataque reais, cargas úteis de exploração e artefatos C2, e essas solicitações foram bloqueadas pelas proteções de segurança do provedor”, destacou Hugging Face no relatório.
Entende-se que o pipeline de detecção de anomalias do próprio Hugging Face aproveitou a classificação de telemetria segura com base em grandes modelos de linguagem para primeiro sinalizar a intrusão correlacionando sinais que de outra forma seriam ignorados no ruído diário. Para reconstruir o cronograma completo do ataque a partir de mais de 17.000 ações de invasores registradas, o Hugging Face executou um agente de análise baseado em modelo de linguagem grande em todo o log, compactando o que normalmente levaria dias em horas.
Uma conclusão importante da investigação: as APIs do Modelo de Fronteira Comercial recusaram-se a lidar com análises forenses porque suas proteções de segurança não conseguiam diferenciar entre os respondentes de incidentes que enviavam cargas úteis de exploração reais e artefatos C2 e invasores reais. A Hugging Face disse que então “passou a executar o GLM 5.2, um modelo de peso aberto, em sua própria infraestrutura para análise forense”. Hugging Face acrescentou: “Isso também tem um benefício secundário: nenhum dado do invasor, nem nenhuma das credenciais nele referenciadas, sai do nosso ambiente…”
Neste momento, a Hugging Face não declarou qual modelo de negócios está tentando usar para resposta a incidentes em sua primeira tentativa, nem foi esclarecido qual modelo foi usado pelos invasores.
Mas a experiência deixou a Hugging Face ciente de uma vulnerabilidade que vale a pena planejar com antecedência: “Não tínhamos ideia de qual modelo o agente do invasor estava usando, o modelo gerenciado com jailbreak ou o modelo de peso aberto irrestrito; em ambos os casos, o invasor não estava vinculado a nenhuma política de uso, e nossos próprios esforços forenses foram bloqueados pelas salvaguardas de segurança do modelo gerenciado que tentamos originalmente”.
Eles concluíram o relatório dizendo: "A lição prática para os defensores é: ter um modelo verificado e prontamente disponível em execução em sua própria infraestrutura antes que ocorra um incidente evita ficar preso por barreiras de proteção e impede que os dados e credenciais do invasor deixem seu ambiente. Isso não é uma objeção às medidas de segurança em modelos gerenciados, e compartilharemos esse feedback com os fornecedores relevantes".
Vale a pena mencionar que a Hugging Face anunciou oficialmente em junho deste ano que forneceria até 6 horas de suporte de poder de computação global gratuito para GLM-5.2, o principal modelo de código aberto do GLM AI, às suas próprias custas.
Conselheiro de IA da Casa Branca está preocupado: “Não seremos mais competitivos”
"Não há razão para limitar os modelos dos EUA a tarefas que os modelos chineses podem realizar sem problemas. Só nos tornaremos menos competitivos ao fazê-lo." Em 19 de julho, David Sacks, Conselheiro Especial da Casa Branca para Inteligência Artificial e Criptomoeda, publicou uma postagem criticando as restrições de segurança cibernética aos modelos de IA dos EUA.
Anteriormente, desenvolvedores individuais também afirmaram publicamente que Kimi K3 corrigiu 15 vulnerabilidades de segurança, enquanto o Codex da OpenAI e Claude Fable 5 da Anthropic se recusaram a lidar com essas vulnerabilidades devido a medidas de proteção de segurança de rede. “Isso acabará sendo catastrófico para OpenAI e Antrópico”, disse ele. Sacks retuitou a postagem do desenvolvedor e mencionou o incidente do Hugging Face.
Alguns internautas comentaram sobre isso: “Agora, os usuários que usam apenas grandes modelos americanos são mais vulneráveis a ataques porque não conseguem resolver seus próprios problemas de segurança”.
Entende-se que a Anthropic classificou claramente os testes de penetração, recompensas de bugs, desenvolvimento de exploração, escalonamento de privilégios e descoberta de vulnerabilidades de alto valor como atividades de uso duplo de alto risco. O Fable 5 foi projetado para bloquear essas solicitações até que a Anthropic tenha uma maneira mais confiável de restringir o acesso apenas a pesquisadores aprovados. E a Antrópica reconheceu o custo. Ao reimplantar o Fable 5 em 1º de julho, a Anthropic disse que seu classificador atualizado produzirá mais falsos positivos durante a codificação e depuração normais, e as solicitações sinalizadas do Fable podem ser roteadas para modelos Opus 4.8 menos capazes, dependendo do produto e da configuração.
OpenAI também aplica verificações automatizadas adicionais a solicitações de segurança de rede no Codex, ChatGPT e sua API. A OpenAI recomenda que os defensores cuja solicitação seja bloqueada restrinjam o escopo, enfatizem a remediação e omitam detalhes de exploração que não são necessários para o resultado defensivo. OpenAI também oferece Codex Security separadamente para varredura de base de código, verificação de exploração em sandboxes e geração de patch.
“Quando grandes modelos dos EUA rejeitam tarefas classificadas como de alto risco, os desenvolvedores podem recorrer a modelos abertos chineses.” Esta lição e sinal do ataque Hugging Face atraiu a atenção de profissionais de segurança da informação e investidores em tecnologia. Alguns internautas disseram com raiva: "Este é um tipo de 'segurança de rede' que coloca a carroça na frente dos bois: os invasores podem usar modelos irrestritos, mas os defensores (que já são lentos para responder) são impedidos de analisar o ataque em si".