Resumo:
Em 28 de setembro, de acordo com a Bloomberg,
A Nvidia lançou um novo sistema de segurança de IA de duas camadas
. A empresa disse que o incidente poderia ter sido evitado se o modelo de IA da OpenAI tivesse sido implantado no sistema quando ocorreu a intrusão do Hugging Face.
Huang Renxun
A Nvidia vem expandindo rapidamente sua linha de produtos além dos chips e atualmente está lançando duas ferramentas de segurança de software de código aberto que podem ser executadas em seu hardware. Eles são projetados para controlar em tempo real o que um agente de IA pode acessar e desligá-lo se violar as regras.
O novo sistema, chamado Open Agent Security Platform, tem como objetivo fornecer uma maneira de prevenir invasões sem retardar o desenvolvimento da IA.
Justin Boitan, vice-presidente de IA empresarial da Nvidia, disse em uma entrevista coletiva com repórteres antes de anunciar o sistema na segunda-feira que o ataque ao Hugging Face poderia ter sido evitado se os principais laboratórios de IA tivessem usado a tecnologia para avaliar seus modelos de IA desde o início.
"Com base nas informações que temos agora, esta nova plataforma de segurança poderia ter evitado essa intrusão", disse ele. Actualmente, o comportamento inadequado dos agentes autónomos de IA causou choque na indústria de IA e levou alguns a apelar à desaceleração do processo de desenvolvimento da tecnologia de IA.
Boitano não comentou se a OpenAI ou a concorrente Anthropic planejam usar esse novo sistema para monitorar o processo de treinamento do modelo, mas pediu aos repórteres que questionassem essas empresas.
Anteriormente, o CEO da Nvidia, Jensen Huang, minimizou o risco de a IA perder o controle humano. Nos últimos dias, Huang descreveu as questões de segurança da IA como um desafio de engenharia, e não como uma questão que requer maior regulamentação ou coordenação global. Ele juntou-se ao presidente dos EUA, Trump, na refutação das alegações de alguns criadores de IA de que a tecnologia poderia levar à extinção humana, mas também sublinhou que a IA deve passar por rigorosos testes de segurança.
A solução de engenharia da Huang Renxun para questões de segurança de IA consiste em duas partes.
Primeiro, OpenShell é um produto de software que a Nvidia apresentou em sua conferência de tecnologia exclusiva em março e roda na unidade central de processamento Vera da Nvidia. Ele permite que os usuários definam regras sobre quais conteúdos os agentes de IA podem acessar e apliquem essas regras em tempo real. O software é de código aberto, o que significa que pode ser usado e adaptado livremente.Enquanto isso, o Nvidia Sentry é um novo produto que pode ser executado na unidade de processamento de dados BlueField da Nvidia. A NVIDIA disse que este produto foi projetado para fornecer uma camada adicional de mecanismo de monitoramento de IA para supervisionar o comportamento dos agentes de IA e para intervir e isolar os agentes quando um comportamento suspeito for encontrado.
Comentários