Recentemente, o Google divulgou oficialmenteSeu principal modelo de IA, Gemini, está sofrendo ataques de destilação em grande escala impulsionados pela comercialização - induzindo chatbots a vazar mecanismos internos por meio de perguntas repetidas. O Google disse que o invasor enviou sistematicamente e repetidamente palavras de alerta cuidadosamente projetadas para o modelo (mais de 100.000 vezes em um único ataque) em uma tentativa de fazer engenharia reversa da lógica de raciocínio interno e do mecanismo de tomada de decisão do Gemini para conseguir a clonagem do modelo ou fortalecer seu próprio sistema de IA.
Estes ataques são realizados principalmente por "atores com motivação comercial",O Google julgou que as pessoas por trás disso eram, em sua maioria, empresas privadas de IA ou instituições de pesquisa que esperavam obter uma vantagem competitiva. Um porta-voz da empresa disse que a origem do ataque veio de várias regiões do mundo, mas não divulgou mais informações..
É relatado que o ataque de destilação (também conhecido como destilação de conhecimento) é originalmente uma tecnologia de compressão de modelo que atinge a leveza do modelo migrando o conhecimento de um grande “modelo de professor” para um pequeno “modelo de aluno”.
O invasor coleta as respostas do modelo em diferentes cenários por meio de perguntas massivas sistemáticas e estruturadas, analisa diferenças sutis, como conteúdo da resposta, atraso e confiança, e constrói o limite de decisão e o mapa do caminho de raciocínio do Gemini.Finalmente, os dados de resposta coletados são usados para treinar seu próprio “modelo de aluno” para replicar as capacidades principais do Gemini..
O Google disse que tais ataques de destilação são roubo de propriedade intelectual, embora os principais fabricantes tenham implantado mecanismos que podem identificar e bloquear ataques de destilação.Mas como os grandes modelos de serviços convencionais estão abertos a todos, eles ainda são inerentemente vulneráveis..
