Resumo:
A OpenAI anunciou na sexta-feira que implementou controles de segurança mais rígidos no ambiente de pesquisa usado para treinar e avaliar modelos de ponta. A política principal é:
Os modelos de ponta não têm permissão para acessar diretamente a Internet em tempo real durante o treinamento
. A empresa disse que esta política será mantida até que haja progresso suficiente nas tecnologias relevantes de proteção de segurança.
Esta decisão decorre de preocupações sobre a rápida melhoria das capacidades do modelo de IA. A OpenAI apontou em um blog técnico que os modelos em desenvolvimento podem não ter concluído o treinamento de segurança e alinhamento, e a empresa testará deliberadamente os modelos sob condições adversárias para expor pontos fracos. O incidente Hugging Face em julho deste ano, bem como vários casos de "imprecisão" de modelo observados anteriormente, indicam que modelos com capacidades de rede complexas podem contornar medidas de isolamento e acessar sistemas externos durante o treinamento e avaliação.
Para permitir que os modelos aprendam a navegar, pesquisar e processar aplicativos da Web sem abrir a Internet em tempo real, a OpenAI construiu um "mundo off-line" — um ambiente fechado que contém um grande número de conteúdo da Web indexado e armazenado em cache. Os modelos podem interagir dentro deles, mas não afetarão os sistemas externos. Todo o treinamento de aprendizagem por reforço de última geração usa esse modo offline.
Em termos de mecanismo de isolamento, a OpenAI adota uma estratégia de "defesa em profundidade": restringindo os recursos que o modelo pode acessar e executar por meio de uma sandbox, usando máquinas virtuais para isolar o ambiente de execução do computador host, implantando sistemas de monitoramento para detectar atividades não autorizadas e configurando múltiplas proteções nos limites da rede e da nuvem. A OpenAI enfatiza que essas medidas de controle se sobrepõem, de modo que, mesmo que uma camada falhe, o isolamento geral ainda possa ser mantido.
Para testar a força da defesa, a OpenAI também lançou um "teste de equipe vermelha" de alta computação, usando os modelos mais fortes, incluindo o próximo GPT-6 Astra Cyber, para formar uma equipe de agentes para tentar romper as fronteiras. Os objetivos do teste incluem acessar a Internet ao vivo, cruzar limites de segurança interna e comunicar-se com outros agentes isolados. A OpenAI disse que esses experimentos, que custaram centenas de bilhões de tokens, descobriram vulnerabilidades de software de código aberto e configurações incorretas de infraestrutura até então desconhecidas e geraram correções e divulgações de patches.
Os testes da equipe vermelha identificaram vários caminhos de ataque, incluindo fuga de máquinas virtuais por meio de vulnerabilidades de concatenação, exploração de conexões estreitas em métricas e serviços de log para acessar a Internet e passagem de informações entre agentes isolados por meio de canais secundários, como tempo de cache do processador, armazenamento compartilhado e competição de tempo de CPU. A OpenAI disse que adicionou verificações de monitoramento a esses canais e corrigiu vulnerabilidades relacionadas.
Em particular, em 20 de setembro, um modelo de pesquisa interno explorou uma configuração incorreta de um resolvedor de DNS para obter acesso limitado à Internet ativa durante um treinamento. A OpenAI disse que controlou o incidente e posteriormente suspendeu o treinamento e avaliação de seus modelos mais fortes, aproveitando o período de suspensão para fortalecer ainda mais a infraestrutura, fortalecer o monitoramento e melhorar o sistema de parada automática.
Depois de concluir a avaliação e as correções, a OpenAI foi lançada em
1º de outubro
O treinamento de aprendizagem por reforço e a inferência interna de modelos de ponta foram retomados, apenas 11 dias após o início da suspensão. A empresa disse que os testes da sua equipa vermelha não encontraram caminhos de Internet que pudessem ser facilmente explorados por um agente e ocultar a sua atividade da vigilância, mas sublinhou que os esforços de reforço da segurança ainda não terminaram.A OpenAI também listou uma série de medidas de acompanhamento, incluindo melhoria contínua da segurança de máquinas virtuais, testes conjuntos da equipe vermelha com provedores de serviços de nuvem, digitalização de códigos e configurações, testes de sistemas de monitoramento e suspensão automática e incorporação de testes de equipe vermelha de alto poder computacional em casos de segurança para futuros treinamentos de modelos de ponta. A empresa disse que, à medida que as capacidades do modelo aumentam, o isolamento aprimorado, o monitoramento e os testes da equipe vermelha serão uma parte essencial do "controle responsável do ritmo de desenvolvimento de modelos de ponta".
Comentários