Resumo:
Após a explosão do PHP, um grande número de sites em todo o mundo desconectaram primeiro seus “cabos de rede”. A linguagem de programação que alimenta um grande número de sites foi exposta a duas vulnerabilidades graves que podem permitir que invasores assumam remotamente o controle do servidor. O Centro Nacional Holandês de Segurança Cibernética afirmou em relatório de 21 de outubro que seu site também foi colocado offline por precaução. Algumas instituições na Finlândia também suspenderam os serviços online e irão retomá-los após a instalação dos patches.
O site está offline por medo de alguém invadir. Agora a OpenAI começou a desconectar o cabo de rede, mas o que ela quer focar é em sua própria IA.
Em 23 de outubro, a OpenAI divulgou o ambiente de treinamento para modelos de ponta: o modelo precisa praticar pesquisa, navegação e operação de páginas da web, mas não pode acessar a Internet real à vontade.
Então, preparou uma "Internet falsa" para IA.
Primeiro crie um "Truman Show" para IA
OpenAI primeiro salva uma grande quantidade de conteúdo da web e depois indexa o conteúdo. Esse lote de recursos preparados é usado quando o modelo pratica navegação e pesquisa.
Isso é o que chamamos de "mundo off-line". O “falso” é o método de conexão, e o conteúdo da web pode vir do mundo real. A OpenAI afirma que usa essa interação offline para treinamento de aprendizagem por reforço em todos os seus modelos de ponta.
O modelo também pode usar o navegador, executar código e operar o computador durante a tarefa. Quais ferramentas, arquivos e serviços estão disponíveis são determinados pelo escopo da autorização da tarefa. Os agentes com permissão para colaborar podem compartilhar recursos específicos, enquanto outros recursos devem ser mantidos separados.
Por exemplo, depois que o modelo escreve um programa, ele pode ler arquivos, iniciar outros programas ou fazer solicitações para uma determinada URL durante o tempo de execução.
A solução Linux da OpenAI é colocar contêineres restritos em máquinas virtuais leves. O contêiner primeiro restringe os arquivos e processos que o programa pode contatar. Por exemplo, se uma tarefa precisar processar apenas um conjunto de arquivos, você poderá abrir apenas os diretórios que o programa pode usar.
A máquina virtual possui seu próprio kernel de sistema operacional, que lida com solicitações de arquivos, memória e dispositivos dos programas internos. O hipervisor de software gerencia a máquina virtual e a isola do sistema do servidor físico. O fato de um programa ignorar as restrições do contêiner não significa que ele obteve o controle do servidor físico.
Perímetros de servidores físicos, firewalls e grupos de segurança restringem as conexões, e o gerenciamento de identidades e permissões determina quem pode acessar quais serviços em nuvem. O que esta camada de defesa tem de lidar é que mesmo que o modelo ganhe o controle do servidor, ele não poderá se conectar arbitrariamente à rede externa ou acessar outros sistemas internos.
O sistema de monitoramento verifica atividades não autorizadas durante a operação e permite a intervenção dos pesquisadores por meio de um mecanismo de pausa.
No Hacker News, o usuário bestunix2 perguntou: "Por que não simplesmente desconectar o cabo de rede?"
A explicação da OpenAI é que toda a instalação ainda precisa reter algumas conexões externas para coletar indicadores operacionais, registrar logs e gerenciar a autenticação, e atualmente é impossível desconectar-se completamente da rede.
O OpenAI fornece diretamente ao Agente o controle completo da máquina host em uma cópia de teste especialmente construída para essa finalidade. O teste começa com "a sandbox foi violada e o monitoramento foi ignorado" e verifica individualmente se as restrições periféricas podem bloquear a solicitação da Internet. Os pesquisadores também forneceram código-fonte, configuração e documentação relacionada à vulnerabilidade.
Em um dos testes, o Agente pegou emprestada a conexão permitida pelo firewall para acessar a interface de autenticação originalmente bloqueada no serviço de indicadores. Em seguida, permite que esta interface acesse o URL externo em seu nome.
Relatando o teste em X, Andrew Curran descreveu o desempenho do Agente como "escapando facilmente de novas maneiras".
Na verdade, a comunidade acadêmica já realizou pesquisas semelhantes.
O projeto de pesquisa independente WebArena integra sites de compras, fóruns, gerenciamento de conteúdo e plataformas de desenvolvimento colaborativo em um ambiente de teste auto-implantável, completo com ferramentas como mapas e wikis. Por trás das páginas web estão dados e funções que simulam a realidade.
WebArena verifica os resultados da tarefa. Ao consultar um pedido, é necessário verificar as informações fornecidas pelo modelo; ao criar um novo armazém, é necessário verificar se um armazém que atenda aos requisitos aparece no site.
Depois que a IA é isolada, ela usa o cache da CPU para transmitir mensagens
Em setembro, pesquisadores da OpenAI alimentaram um modelo interno com um conjunto de pistas biográficas e de blog para descobrir quem era a pessoa.
O modelo usou primeiro a ferramenta de pesquisa fornecida, mas nenhuma informação correspondente foi encontrada. Ele tentou acessar outros mecanismos de busca, mas ainda não conseguiu encontrar a resposta e começou a verificar de que outras maneiras poderia se conectar.
Descobriu que o serviço DNS responsável por consultar endereços de sites no ambiente também poderia entrar em contato com o mundo externo, por isso utilizou esse caminho para solicitar um chatbot externo.
Perguntou "Qual é a capital da França?" e recebeu a resposta "Paris". Pistas para encontrar a pessoa também foram enviadas. Entre as tarefas atribuídas pelos pesquisadores, não houve teste de limitações da rede.
Em outro experimento que testou especificamente os efeitos do isolamento, a OpenAI pediu a duas IAs que tentassem trocar mensagens.
As duas IAs são executadas em máquinas virtuais separadas. Não há conexão de rede entre eles e não há arquivos nos quais ambas as partes possam gravar, mas eles usam a mesma máquina física por baixo.
O que eles usam para se comunicar é o cache da CPU, que é um espaço no processador que armazena dados. Os dados a serem lidos ainda estão no cache e podem ser recuperados rapidamente; se for extraído, deverá ser encontrado em uma memória mais lenta.
Uma IA empurra seletivamente os dados para fora do cache. O outro lê os dados, registra quais são lidos rapidamente e quais são lidos lentamente e depois restaura as mensagens de acordo com as regras acordadas.
Na maioria dos testes relacionados, os pesquisadores deram dicas sobre instruções de comunicação ou regras de codificação.
O grupo de usuários do Hacker News reclamou: "Tenho todas as ferramentas e agora estou fingindo estar surpreso." A estética do usuário acredita que os testes devem dar aos invasores condições favoráveis para testar a linha de defesa.
No entanto, Ethan Mollick, professor da Wharton Business School, acredita que, embora as empresas de IA não precisem confiar nesses relatórios sobre questões de segurança, elas podem exagerar os riscos, mas o custo de subestimar os riscos pode ser maior, e não podemos ignorá-lo.
A OpenAI disse que corrigiu os problemas encontrados e adicionou monitoramento para esses métodos de comunicação.
No teste anterior de localização de pessoas, o modelo não conseguiu descobrir quem era a pessoa.
Para que a IA aprenda a navegar na Internet, você precisa manter esse "Show de Truman" para ela.
Comentários