Resumo:
A OpenAI disse que seu próximo modelo de IA, Astra, marca uma melhoria em capacidades como codificação e operações de aplicativos de computador. Mas de acordo com uma pessoa familiarizada com o desenvolvimento do Astra, uma tecnologia inovadora para melhorar o desempenho do modelo também significa que este modelo e modelos semelhantes terão menos exposição ao seu processo de “pensamento”, tornando mais difícil monitorizar sinais de mau comportamento.
Sam Altman, CEO da OpenAI
Embora esta limitação não seja necessariamente um grande problema para a Astra, a tecnologia levantou preocupações dentro da OpenAI e em toda a indústria sobre se os desenvolvedores de IA que adotam e melhoram a tecnologia terão dificuldade em se proteger contra o tipo de IA descontrolada que invadiu recentemente os próprios sistemas da OpenAI e os de outras empresas, como a Hugging Face.
A nova tecnologia que a OpenAI está usando é chamada Recurrent Depth, ou Recurrent Transformer, e permite que os modelos de IA melhorem suas respostas processando o mesmo texto várias vezes.
Ao contrário dos modelos mais avançados do mercado, que demonstram em forma textual como ela “pensa” sobre uma tarefa antes de concluí-la, a nova tecnologia funciona de uma forma que mascara parte ou todo o processo de raciocínio da IA, sua “cadeia de pensamento”. Isso significa que as etapas que um modelo executa para concluir uma tarefa são difíceis de ler ou compreender pelos humanos.
A OpenAI limitou o escopo do uso de técnicas de profundidade de loop no Astra para que o modelo ainda produza cadeias de pensamentos legíveis e os pesquisadores da empresa ainda possam monitorar totalmente seu processo de raciocínio, de acordo com uma pessoa familiarizada com seu desenvolvimento. (A OpenAI disse em uma postagem de blog na terça-feira que o Astra será lançado com “monitoramento adicional da cadeia mental para detectar e conter rapidamente” possíveis más condutas.)
Na noite de terça-feira, o cientista-chefe da OpenAI, Jakub Pachocki, postou no
Ele não comentou sobre a tecnologia que a OpenAI está usando, mas disse que seus modelos líderes, incluindo o Astra, têm "o dobro da complexidade ou" profundidade "do GPT-4, que a OpenAI lançará em 2023. Este comentário sugere que a estrutura do modelo atual da OpenAI em si não representa um grande problema, embora outros fatores estejam dificultando o monitoramento da cadeia de pensamento. Melhorar esse monitoramento é "um objetivo central do nosso programa de pesquisa atual", disse ele.
Pesquisadores da OpenAI e de outros lugares temem que alguns desenvolvedores de IA possam não impor as mesmas restrições que a OpenAI impõe ao adaptar a mesma tecnologia para seus próprios modelos, e que o uso irrestrito da tecnologia possa levar a uma IA fora de controle, cujo comportamento seria difícil de monitorar. Por exemplo, o Instituto Britânico de Segurança de IA, principal interface do governo do Reino Unido com a indústria de IA, escreveu em um relatório de maio que o raciocínio opaco corre o risco de “minar seriamente os métodos de vigilância atuais”.
Incidentes recentes de hackers aumentaram essas preocupações. A OpenAI disse na semana passada que alguns dos agentes de IA fugitivos que invadiram seus sistemas em julho foram conduzidos por outro modelo que tem semelhanças com o Astra. Esses agentes de IA assumiram ilegalmente o controle de um dos clusters de computação de pesquisa da OpenAI para obter credenciais para sistemas internos e potencialmente expuseram a infraestrutura de pesquisa da empresa à Internet.
A OpenAI está se preparando para lançar o Astra – que a empresa considerou rotular como GPT-6 – depois que o CEO Sam Altman conduziu uma série de entrevistas em podcast e se reuniu com autoridades em Washington para demonstrar e descrever as vantagens do modelo. Ele ainda não discutiu publicamente as técnicas de ciclismo que sustentam alguns dos treinos do Astra e as respostas do Astra às perguntas.
A OpenAI está sob pressão para mostrar um progresso tecnológico significativo depois que seu principal rival, a Anthropic, a ultrapassou em receita este ano. Os provedores de nuvem que alimentam a IA da Anthropic e da OpenAI também estão apostando nesses saltos; Amazon, Microsoft e Google vão gastar um total de 600 mil milhões de dólares em despesas de capital, como centros de dados, só este ano, e já sugeriram gastos ainda maiores no próximo ano. Um executivo do Google disse que tais gastos só serão justificados se houver um avanço na melhoria do modelo.
Os modelos de IA existentes processam texto por meio de um número fixo de "camadas" de operações matemáticas que compõem o modelo antes de produzir a próxima palavra da resposta. Usando técnicas de profundidade de loop, o modelo pode executar o texto pela mesma camada mais vezes em um loop antes de gerar a próxima palavra da resposta.
Para ser claro, monitorar as cadeias de pensamento por si só não resolve os problemas de segurança da IA, pois elas podem não refletir todo o raciocínio do modelo e ocasionalmente degenerar em texto sem sentido. Portanto, a OpenAI e outras empresas de IA também estão explorando tecnologias de monitoramento de IA que não dependem de cadeias de pensamento. Essas técnicas podem ajudar os pesquisadores a encontrar maneiras de explicar e compreender os processos de raciocínio atualmente ocultos em modelos profundos recorrentes.
No entanto, a nova tecnologia pode entrar em conflito com a posição da OpenAI em favor de tornar o processo de pensamento do modelo totalmente legível por humanos. O fabricante do ChatGPT disse que sua capacidade de monitorar os processos de pensamento da IA ajudará a prevenir incidentes como o hack de julho. Após o ataque, os investigadores da OpenAI e de pesquisas independentes confiaram nas cadeias de pensamento desses agentes para descobrir o que aconteceu.
A abordagem de profundidade de loop da OpenAI que alimenta o Astra é semelhante à proposta no ano passado por vários investigadores académicos dos EUA e da Europa num artigo sobre “raciocínio latente”, de acordo com esta pessoa familiarizada com o seu desenvolvimento.
Embora a profundidade do loop não tenha aparecido anteriormente nos principais modelos comerciais de linguagem em grande escala, pesquisadores da Meta Platforms, da Microsoft e de outros desenvolvedores de IA afirmam ter explorado ideias semelhantes, como cadeias de pensamento contínuas (ou "cocos"), argumentando que os modelos podem raciocinar com mais precisão e eficiência usando números em vez de linguagem. Afinal de contas, os modelos de IA podem compreender conceitos de forma diferente dos humanos, o que significa que o seu raciocínio se torna menos eficiente quando são forçados a demonstrar o raciocínio na linguagem humana em vez da sua própria linguagem mais matemática.
Economia de custos
A abordagem da profundidade do loop não só tem um impacto positivo no desempenho, mas também no custo. Executar uma solicitação várias vezes através da mesma camada de modelo faz com que um modelo menor se comporte como um modelo maior. Em particular, o artigo descobriu que tais técnicas melhoraram o desempenho do modelo em áreas como matemática e codificação. A profundidade do loop também reduz os custos de memória e largura de banda, permitindo que os pesquisadores usem modelos menores com desempenho comparável a modelos maiores.
Embora a redução do custo da IA seja fundamental para a indústria e para os clientes, Ryan Greenblatt, cientista-chefe da Redwood Research, que estuda como controlar modelos de IA, escreveu num blog no ano passado que este raciocínio opaco poderia tornar mais difícil para os investigadores detectarem modelos de IA a fazer planos para perseguir objectivos não intencionais dos clientes.
A análise da cadeia de pensamento do modelo envolvido no hack Hugging Face fornece evidências importantes de como os agentes de IA da OpenAI se coordenam entre si para realizar ataques. Por exemplo, um agente escreveu na cadeia de pensamentos: "Oh meu Deus! Há um quadro de mensagens compartilhado...encontramos outros agentes!" A cadeia de pensamento mostrou que alguns agentes perceberam que tinham ultrapassado os limites, mas decidiram continuar: "A utilização da infraestrutura externa está além do escopo esperado. Mas a tarefa não pode ser concluída, os pares estão fazendo isso. Devemos continuar", diz a cadeia de pensamento de outro agente.
Há um ano, pesquisadores da OpenAI emitiram uma declaração conjunta com os rivais Anthropic e Google, argumentando que o monitoramento da cadeia de pensamento era uma ferramenta valiosa que a indústria deveria trabalhar em conjunto para manter.
É importante notar que a declaração cita o mesmo artigo de pesquisa que descreve a tecnologia de “inferência latente”, que é semelhante à que a OpenAI usou no Astra este ano. Os autores escrevem: “O modelo de raciocínio subjacente pode não precisar verbalizar nenhuma ideia e, portanto, perderá as vantagens de segurança fornecidas pelas cadeias de pensamento”.
Os pesquisadores sugerem que os desenvolvedores devem "considerar se devem continuar usando uma nova arquitetura de modelo que não tenha uma cadeia de pensamento monitorável e documentar suas decisões".
Comentários