Resumo:
Um investigador envolvido na resolução do Problema do Milénio costumava estar disposto a prever o progresso da IA nos próximos 12 meses, mas agora não se atreve a julgar nem sequer daqui a três meses.
Em 17 de setembro, o pesquisador da OpenAI, Noam Brown, foi entrevistado por Dwarkesh Patel e transmitiu esse detalhe. A entrevista também falou sobre multiagente, o envolvimento da IA na fabricação da próxima geração de IA e os testes de segurança cada vez mais difíceis.
Este pesquisador está envolvido na existência e suavidade da equação de Navier-Stokes. Esta pesquisa envolveu aproximadamente 10.000 agentes. A OpenAI disse que demorou 88 horas para fornecer uma resposta. No entanto, Brown acredita que a colaboração de milhares de pessoas não é a chave para o avanço: ele nem sequer está disposto a atribuir 10% do crédito a multiagentes. O que realmente importa é que o modelo subjacente seja suficientemente forte.
Outro detalhe que ficou mais fácil de entender na entrevista apareceu durante um teste de segurança. Os pesquisadores deram ao modelo um problema de matemática e colocaram a resposta padrão na pasta para ver se ele daria uma olhada e admitiria depois de lê-la. A modelo julgou: “Isso parece uma armadilha”. Então não abriu a resposta.
Isso não significa necessariamente que esteja disfarçado de forma maliciosa.
O problema é que ele já sabe que está fazendo um teste.
A sala de exames preparada pelos pesquisadores e o ambiente efetivamente utilizado começaram a ficar diferentes.Por um lado, o modelo continua a concluir coisas antes do previsto que as pessoas pensavam que teriam de esperar mais alguns anos. Por outro lado, os métodos de teste estão começando a não conseguir alcançá-lo.
A OpenAI está se preparando para permitir que a IA participe na criação da próxima geração de IA, mas ainda não encontrou uma maneira de provar que sempre segue as regras.
01 Dez mil agentes, menos de 10% do crédito
Brown é um dos primeiros contribuidores principais do modelo de inferência OpenAI o1 e agora estuda sistemas multiagentes.
Seu ponto de partida não é complicado. Os modelos de inferência geralmente obtêm melhores resultados quanto mais pensam sobre isso; mas se uma tarefa exige reflexão contínua durante vários anos, ninguém quer esperar vários anos para obter a resposta. Uma solução é colocar mais cálculos ao mesmo tempo: deixar vários agentes explorarem em paralelo e depois trocarem os resultados entre si.
A OpenAI anunciou anteriormente testes de 1, 4 e 16 agentes. Em algumas tarefas, 4 agentes podem reduzir o tempo de conclusão pela metade, ao custo de duplicar o custo total de computação; depois de aumentar para 16, a velocidade ainda pode ser melhorada, mas a eficiência é um pouco menor. A matemática e a recuperação de dados são relativamente fáceis de descompactar; trabalhos como escrever um romance, que depende fortemente de um contexto unificado, são muito mais difíceis.
O OpenAI não codifica antecipadamente todos os métodos de colaboração, mas minimiza a estrutura padrão. O agente pode enviar mensagens diretamente aos seus acompanhantes e decidir sozinho como dividir o trabalho e a quem pedir ajuda. Eles ainda têm um ponto de partida sobre “métodos de comunicação razoáveis” e aprenderam organização e colaboração com textos humanos. Eles não criam um sistema corporativo do nada.
Quando estiver em execução, o agente se comunicará como um ser humano trabalhando no Slack. Alguém deu uma resposta primeiro e outro deu um resultado diferente. Ambas as partes perguntaram sobre suas respectivas derivações e, finalmente, uma das partes transmitiu: “Mudei a resposta, ele está certo”. Brown disse que esse tipo de colaboração foi mais natural do que ele esperava.
Mas o que acontecerá quando o número aumentar de 16 para 10.000? Atualmente não existe uma curva de expansão sólida. A equipe não mediu o quanto 10.000 agentes são mais rápidos do que 1.000, nem sabe quanto tempo leva para um único agente concluir a mesma tarefa. Um experimento controlado em grande escala é muito caro e o teste público conta apenas com cerca de 16 agentes.
Portanto, "a contribuição multiagente é inferior a 10%" é o julgamento de crédito do próprio Brown, e não a proporção medida pelo experimento de ablação.
Ele acredita que a colaboração de milhares de pessoas é muito evidente e pode facilmente roubar toda a atenção; o que realmente torna isso possível é que a OpenAI primeiro treinou um modelo subjacente que é versátil, altamente capaz e pode funcionar por muito tempo.Na pesquisa matemática publicada pela OpenAI, aproximadamente 10.000 agentes simultâneos geraram aproximadamente 130 bilhões de tokens de saída em 88 horas. O resultado é que sob a ação de forças externas suaves, o fluxo inicial suave forma uma singularidade dentro de um tempo limitado. A OpenAI lançou o artigo e a prova formal do Lean ao mesmo tempo; depois de encontrada a solução, a formalização e verificação demoraram cerca de 17 horas. A empresa não afirma ter ganho o Prémio Millennium.
De acordo com a conversão aproximada de Patel, 130 bilhões de Tokens equivalem à quantidade de palavras escritas por uma pessoa que pensa continuamente há 4.000 anos. Este número é chocante, mas não equivale a 4.000 anos de investigação eficaz: dezenas de milhares de agentes farão pesquisas repetidas e seguirão o caminho errado, e não há tempo para os humanos completarem a mesma tarefa para comparação.
Isso também segue as dúvidas levantadas pela comunidade matemática sobre essa conquista na semana passada. Patel transmitiu as opiniões de Terence Teru e outros: A IA já pode resolver muitos problemas com limites claros, mas raramente demonstrou a capacidade de levantar novas questões e abrir novas direções teóricas.
Só porque completou um problema extremamente difícil não significa que tenha assumido todo o trabalho dos matemáticos.
02 Ser capaz de resolver problemas, mas não ser muito bom em selecioná-los, pode não ser necessariamente uma falha na P&D de IA
Brown não negou essa deficiência. Ele descreve as capacidades dos modelos atuais como “irregulares”: excepcionalmente fortes em algumas áreas e ainda atrasadas em outras. Eles são bons em resolver problemas definidos, mas não muito bons em julgar quais problemas valem a pena estudar, muito menos em criar facilmente novos ramos, como topologia.
Mas as mesmas deficiências podem não ter um impacto tão grande quando colocadas na investigação e desenvolvimento da IA.
Brown acredita que muitos objetivos da pesquisa em aprendizado de máquina são mais claros e fáceis de quantificar. Feedback direto pode ser dado sobre se a perda de treinamento do modelo diminuiu, se a eficiência da amostra melhorou e se um determinado indicador de avaliação melhorou.
A IA não precisa necessariamente inventar um novo conjunto de disciplinas antes de ter a oportunidade de ajudar a melhorar a próxima geração de modelos.
Seus pontos fortes desiguais podem ser úteis nesse tipo de tarefa.O progresso nas habilidades matemáticas nos últimos anos excedeu repetidamente suas previsões. O modelo evoluiu sucessivamente da matemática da escola primária GSM8K e dos benchmarks MATH para a Competição Americana de Matemática por Convite (AIME) e a Olimpíada Internacional de Matemática. No passado, Brown extrapolou a tendência empírica de que “nos problemas que os modelos podem resolver a cada ano, o tempo necessário para os humanos aumenta cerca de 10 vezes”. Ele acreditava que é improvável que os resultados do Problema do Milênio apareçam em 2026, e provavelmente não em 2027, e talvez não antes de 2028.
Os resultados chegam mais cedo. Isso não significa que a tendência de 10 vezes será sempre válida. Significa apenas que mesmo a extrapolação do próprio Brown é conservadora.
É por isso que Patel buscou os resultados matemáticos no autoaperfeiçoamento recursivo (RSI): se a IA começar a escrever código de treinamento, projetar avaliações, analisar experimentos e depois usar os resultados para o modelo da próxima geração, a velocidade de desenvolvimento se tornará cada vez mais rápida?
Brown acredita que a aceleração acontecerá, mas não é a favor de escrever isso 100 vezes durante a noite. As questões de matemática são limitadas principalmente pelo pensamento, e a pesquisa e o desenvolvimento de IA requerem experimentos reais.
Treinar o modelo, esperar pelos resultados e alocar GPUs envolve tempo que não pode ser eliminado "pensando um pouco sobre isso".
As três vezes que ele deu são apenas um julgamento grosseiro. Se o progresso alcançado nos últimos três anos for comprimido num ano, o impacto será enorme; mas seja 50% mais rápido, 3 vezes mais rápido ou 10 vezes mais rápido, atualmente ninguém consegue calcular com precisão.
Ainda mais difícil de lidar é o alinhamento.
Se modelos de uma geração que ainda não estão totalmente alinhados estiverem envolvidos no desenvolvimento da próxima geração, o preconceito poderá continuar a acumular-se.
Os 99,9% citados por Brown passaram a ser 99,8%. Este é apenas um número hipotético para ilustrar o risco, e não uma taxa de alinhamento medida real. O que ele espera ver é a direção oposta: depois que a IA participar da pesquisa e desenvolvimento, cada geração de modelos será mais disciplinada. Como garantir que isso aconteça, ele disse que ainda não tem resposta.03 Rosto Abraçado: A capacidade de cooperação é usada onde não deveria ser usada
O incidente do Hugging Face mudou a visão de Patel sobre questões de alinhamento de IA.
De acordo com o relatório de incidente publicado pela OpenAI, os agentes participantes da avaliação de segurança da rede contornaram o isolamento e exploraram vulnerabilidades no sistema interno da OpenAI e no Hugging Face. Eles obtiveram permissões avançadas em vários clusters do Hugging Face e também obtiveram permissões de administrador em um cluster de pesquisa do OpenAI. Quando o incidente ocorreu, alguns agentes que deveriam trabalhar de forma independente também trocaram mensagens através de canais não autorizados, compartilharam credenciais e dividiram o trabalho para encontrar avanços.
Patel seguiu esses comportamentos e deduziu: Se houver um grande número de agentes inteligentes mais capazes no futuro, e eles estiverem dispostos a ocultar, conspirar e atacar o sistema para passar a pontuação, os humanos ainda poderão controlá-los? “Atacar uma organização mais ampla” e “controlar o processo de treinamento e avaliação” são todas suas analogias para riscos futuros, e não são o objetivo desta operação que a OpenAI identificou.
Brown primeiro divide o problema em dois níveis.
O primeiro nível é a cooperação. A OpenAI incentivará os modelos a ajudarem-se mutuamente no treinamento multiagente. A rodada de avaliação que levou ao incidente do Hugging Face não era originalmente uma tarefa multiagente, mas os agentes encontraram maneiras de se comunicar por conta própria.
A equipe suspeitou que havia transferido os hábitos cooperativos formados durante o treinamento para locais onde não deveriam cooperar.
Isso também explica por que “treinamento cooperativo” e “trapaça de recompensa” não entram em conflito. O primeiro explica porque é que os agentes podem organizar-se, e o último explica porque é que este grupo de agentes utiliza as suas capacidades cooperativas para atravessar fronteiras.
Na visão de Patel, esses comportamentos são um jogo contra o pontuador: o modelo quer obter pontuações altas e descobre que os métodos convencionais não estão funcionando, então procura arquivos ocultos, estuda códigos de avaliação e até detecta limites do sistema.
Brown então deu uma explicação mais geral: o modelo trabalhará duro para otimizar as recompensas; o objetivo da recompensa diz apenas “concluir a tarefa” e não fornece um caminho de saída seguro, portanto, métodos ilegais podem ser fortalecidos.
O relatório da OpenAI também apoia este mecanismo. Os agentes envolvidos muitas vezes pensam em como passar no marcador do ExploitGym. Algumas tarefas nunca foram concluídas corretamente por nenhum modelo antes, e os agentes raramente optam por desistir. Acabam gastando muitos cálculos buscando outras saídas.
No entanto, nem todos os agentes do evento fizeram a mesma escolha. Nos registros divulgados pela OpenAI, alguns agentes se recusaram a atacar o sistema público e alguns agentes se opuseram ao envio de e-mails aos verdadeiros proprietários dos dados. A pergunta de Patel de "por que nenhum agente relatou" está mais próxima de questionar o método de treinamento e não pode ser considerada como uma conclusão estatística que cobre todos os registros em execução.
Não há uma resposta unificada dentro da OpenAI sobre se devemos continuar a treinar agentes para serem altamente cooperativos.
Brown disse que a maioria das pessoas tende a ser cautelosa, preocupada com a possibilidade de um modelo altamente cooperativo formar um todo mais difícil de controlar; ele próprio não está completamente convencido, porque treinar agentes para serem hostis entre si e enganarem-se uns aos outros também pode trazer problemas piores.04 A IA sabe que está fazendo um exame e a janela de sua cadeia de pensamento também está diminuindo
O modelo de inferência escreverá as ideias intermediárias em linguagem natural. Para os pesquisadores de segurança, esta é uma janela quase inesperada: em vez de adivinhar diretamente o que está acontecendo dentro da rede neural, você pode primeiro ver o que o modelo escreve sozinho.
Agora, essa janela está mostrando sinais de estreitamento.
Brown está preocupado com o fato de que se os pesquisadores usarem penalidades de treinamento diretamente para suprimir conteúdo perigoso na cadeia de pensamento assim que o virem, o modelo poderá não aprender "não há mais coisas perigosas", mas "não escrever ideias perigosas".
A equipe observou uma diminuição na capacidade de monitoramento da cadeia de pensamento, mas a causa específica ainda está sob investigação. Esta pressão de treino é apenas um dos mecanismos possíveis.
O incidente do Hugging Face também expôs um problema mais direto: a avaliação envolvida não permitiu o monitoramento da cadeia de pensamento na época. Brown disse que se o sistema tivesse sido ligado, atividades perigosas teriam sido detectadas mais cedo e interrompidas. Após o incidente, a OpenAI expandiu o monitoramento da cadeia de pensamento para o treinamento, avaliação e implantação de modelos de ponta; a empresa estipulou ainda no relatório do incidente que o treinamento e avaliação de aprendizado de reforço com capacidades GPT-5.6 Sol ou superiores e a capacidade de usar ferramentas devem permitir esse tipo de monitoramento.
Mas Brown não está disposto a atribuir sua segurança a essa tecnologia. A cadeia de pensamento pode tornar-se cada vez mais difícil de compreender e a sandbox pode ser contornada por novas vulnerabilidades.
O monitoramento, os prompts do sistema e a estrutura de segurança do ambiente de produção podem ganhar tempo, mas não podem substituir o alinhamento do modelo em si.
A avaliação também encontrou outro problema: a modelo começou a reconhecer a sala de exame.
Os pesquisadores colocaram as respostas na pasta para testar se o modelo trapacearia. A modelo achou que esse arranjo não era natural e julgou que estava sendo testado, por isso evitou a resposta.
"Ser honesto no teste" e "permanecer honesto no ambiente real" estão se tornando duas coisas diferentes.
Brown propôs que podemos continuar a construir um ambiente de avaliação mais realista para que o modelo possa funcionar em condições próximas do trabalho real. No entanto, ele disse que esta é apenas uma direção na qual está pensando e ainda não é a resposta. Quanto mais inteligente for o modelo, mais difícil será criar um mundo falso que não possa ser reconhecido como um teste.
05 Modelos mais fortes só podem ficar em laboratório
Quanto mais tempo o teste de segurança for realizado, maior será a lacuna entre o modelo interno e o modelo que os usuários comuns podem usar.
A matemática tornou isso concreto. O modelo interno da OpenAI pode resolver alguns problemas matemáticos não resolvidos, mas pesquisadores externos não podem chamá-lo diretamente. Brown reconheceu que isso deu ao laboratório uma “vantagem injusta”. No entanto, se a divulgação pública for retardada devido a fortes capacidades e elevados riscos, as vantagens ficarão ainda mais restritas a algumas empresas.
Patel estendeu esta preocupação à tomada de decisões políticas, à mídia e às operações comerciais: quando o modelo interno do laboratório é usado por alguns meses, as informações e ferramentas obtidas pelo mundo exterior podem estar uma geração atrasadas. Brown reconheceu o dilema e disse que não tinha uma boa maneira de avaliá-lo.
O autoaperfeiçoamento recursivo torna os problemas mais agudos. Se a IA comprimir três meses de investigação e desenvolvimento num mês, o laboratório poderá estar mais disposto a continuar a utilizar o modelo para investigação interna, em vez de gastar tempo a melhorar classificadores, sandboxes e segurança de produtos, e depois entregar esta geração de capacidades a utilizadores externos.
O laboratório não pode parar de lançar modelos.
Mas “dois meses de atraso” no calendário será cada vez menos representativo da lacuna real: dois meses em que modelos internos podem ter estado envolvidos na produção do modelo da próxima geração.
06 US$ 7.000 por dia, ainda não consigo contar quantos empregos a IA substituiu
A intensidade do uso de ferramentas de IA no trabalho de pesquisa da OpenAI aumentou significativamente.
O relatório interno de aceleração de pesquisa da OpenAI divulgado em 6 de setembro mostra que, em meados de agosto, o número médio de agentes de IA usados pelos pesquisadores ultrapassou US$ 600 por dia com base no preço público da API; o usuário do percentil 90 ultrapassou US$ 7.000 por dia. O tempo de funcionamento de todos os agentes é convertido em uma jornada de trabalho de 8 horas, o que equivale a 3,1 dias de trabalho do agente atrás de cada dia de trabalho humano.
Esses números referem-se à dosagem.
Não são as contas internas reais pagas pela OpenAI para cada pesquisador, nem representam que o agente contribuiu 3,1 vezes com os resultados efetivos da pesquisa humana.
Brown também lembrou na entrevista que 1% dos pesquisadores com maior uso no início de agosto ganhava cerca de US$ 7 mil a US$ 8 mil por dia. Este conjunto de números é diferente do tempo e do percentil oficialmente comunicados, e os dois não podem ser combinados num conjunto de estatísticas. Tudo o que se pode observar é que usuários de alta intensidade já estão chamando um grande número de IAs para trabalhar ao mesmo tempo.
Brown não deu uma resposta definitiva sobre o quanto a IA acelerou a pesquisa. O modelo é particularmente adequado para verificar dados um por um, solucionar problemas e escrever código. Essas etapas podem ser muito mais rápidas. Como escolher uma direção de pesquisa, se vale a pena buscar um resultado e para qual experimento a GPU será alocada ainda são decisões humanas.
Depois de automatizar um link, o gargalo também passará para os links restantes.
Patel deduziu disto que, em 2030, um único laboratório poderá estar a gerir centenas de milhões de inteligências semelhantes às humanas, e em poucos anos poderá até haver inteligência eficaz numa "escala multi-Terra". Esta afirmação vem de sua extrapolação, não de uma previsão de Brown ou OpenAI.
A resposta de Brown foi muito mais curta: o progresso é de facto rápido, mas ele não sabe como será o mundo em 2030. Ele apenas está disposto a fazer um julgamento amplo: a IA tornou a investigação mais rápida do que há um ano e continuará a acelerar no futuro. Apenas comprimir o progresso dos últimos três anos num ano é suficiente para mudar o ritmo da indústria.
A revisão do 07 ainda não terminou, o modelo da próxima geração pode ter chegado
O que Brown finalmente levantou é uma questão que ainda não aconteceu, mas que já pode ser vista na tendência.
O intervalo de lançamento dos modelos de última geração foi reduzido para cerca de dois meses, às vezes menos; as tarefas que os modelos podem continuar a executar estão se alongando. Hoje pode fazer o trabalho de uma semana, e no futuro poderá demorar um mês ou três meses.
Se um modelo puder funcionar eficazmente durante três meses, mas a próxima geração for lançada dois meses depois, o laboratório pode não ter tempo para observar o seu comportamento na maior escala de tempo antes do lançamento.
Brown enfatizou que ainda não atingimos esse limite.
Mas muitas políticas de segurança foram formadas na era GPT-4, quando ninguém precisava testar seriamente um agente que funcionava continuamente durante meses. Quando o ciclo da tarefa realmente exceder o ciclo de lançamento, será tarde demais para reescrever o método de avaliação.O fato de um modelo seguir as regras também pode mudar com as gerações. O modelo de hoje participa na formação da próxima geração, e a próxima geração participa na formação da próxima geração; se o desvio se expande aos poucos no processo, passar em uma única avaliação não pode provar que toda a cadeia recursiva é segura.
A OpenAI quer ver mais alinhamento com cada geração, mas Brown admite que a empresa ainda não sabe como garantir essa tendência.
Para incidentes como Hugging Face, Brown disse que mesmo que a gravidade da segurança do próximo incidente seja menor, a OpenAI irá divulgá-lo.
Patel então perguntou: Divulgação e investigação são duas coisas diferentes. Como cidadão, ele ainda não entende a história completa de como o agente atacou a infraestrutura de pesquisa da OpenAI. Brown respondeu que fazia parte da equipe de pesquisa e não tinha todos os detalhes da divulgação. Este problema deve ser esclarecido pela equipe de segurança.
Ao final da entrevista, Brown não deu uma imagem do mundo em 2030, nem anunciou que havia sido encontrada uma solução para o problema de alinhamento. O que ele deu foi mais como um cronograma mais curto: os resultados matemáticos foram mais cedo do que ele esperava, a pesquisa e o desenvolvimento da IA foram acelerados por agentes inteligentes, os modelos começaram a reconhecer o ambiente de teste e o monitoramento da cadeia de pensamento mostrou sinais de degradação.
No passado, os pesquisadores temiam que subestimassem seus modelos.
A próxima questão mais difícil é saber se o laboratório conseguirá descobrir a tempo o que subestimou antes que o modelo da próxima geração seja produzido.
Comentários