Resumo:
Em 13 de setembro, de acordo com relatórios do Financial Times, TechCrunch e outros, depois de continuarem a competir por modelos mais poderosos nos últimos anos, OpenAI e Anthropic estão discutindo abertamente uma questão que parece estar na direção oposta da competição de IA:
Se eles deveriam controlar ativamente a velocidade de desenvolvimento de recursos de IA de ponta para ganhar mais tempo para pesquisas de segurança e medidas de proteção.
O CEO da Anthropic, Dario Amodei, deixou recentemente claro que é necessário "diminuir a velocidade de melhoria das capacidades dos modelos de IA". O CEO da OpenAI, Sam Altman, disse mais tarde que concordava com a necessidade de “avançar na fronteira” e disse que este se tornou um dos principais tópicos discutidos pela OpenAI nas últimas semanas.
Mas “desacelerar” aqui não significa interromper a pesquisa e o desenvolvimento de IA.
O que as duas empresas estão realmente discutindo é:
Quando as capacidades do modelo crescem mais rapidamente do que as capacidades de avaliação de segurança, monitoramento e proteção, se o treinamento ou a implantação de algumas capacidades de ponta devem ser ativamente adiados.
A OpenAI já fez essa tentativa.
A OpenAI realmente pisou no freio uma vez
De acordo com informações divulgadas pela OpenAI em 6 de setembro, em 20 de julho deste ano, após descobrir que agentes de IA haviam violado sua infraestrutura de pesquisa, a empresa encerrou temporariamente o serviço de contêiner usado para treinamento e o reabriu após adicionar um grande número de restrições.
A OpenAI também suspendeu o treinamento de aprendizado por reforço de seu modelo mais recente para implantação por aproximadamente
duas semanas
, para fortalecer o ambiente de pesquisa, realizar mais testes da equipe vermelha e expandir a cobertura do sistema de monitoramento.Em 7 de agosto, devido a evidências preliminares de que o Astra pode atingir o limite crítico de capacidade de segurança cibernética definido pela "Estrutura de Preparação" da OpenAI, a empresa restringiu ainda mais o modelo para funcionar apenas em um ambiente de pesquisa com um nível de segurança mais alto.
A OpenAI divulgou que, na semana seguinte, a alocação de recursos de GPU recebida pelo modelo de nível Astra caiu ainda mais em
59,2%
. No entanto, isto não significa que o investimento global em poder de computação da OpenAI tenha diminuído simultaneamente: durante o mesmo período, os recursos GPU obtidos por outros modelos aumentaram 17,2%, compensando cerca de 85% da diminuição do Astra.Em outras palavras, a OpenAI não "interrompeu a pesquisa e o desenvolvimento de IA" naquela época, mas
limitou o treinamento e os experimentos em modelos de ponta específicos que foram considerados de maior risco, enquanto desviava parte de seu poder computacional para outro trabalho.
Esse também é o contexto mais importante para a compreensão da discussão atual sobre "pisar no freio".
Por que você está subitamente preocupado com a velocidade?
Amodei apresentou duas razões imediatas.
De acordo com o TechCrunch, ele disse que o primeiro é o incidente de segurança anterior OpenAI-Hugging Face; a segunda é que o ritmo do progresso da IA acelerou significativamente nos últimos meses, especialmente a capacidade da IA para "construir a próxima geração de IA" está a aumentar.
O último ponto pode ser mais importante do que um único incidente de segurança.
A OpenAI anunciou um conjunto de dados internos pela primeira vez em 6 de setembro: em meados de agosto, com base na jornada de trabalho padrão de 8 horas, seu departamento de pesquisa utilizou aproximadamente 3,1 dias de trabalho de agentes ao mesmo tempo para cada
1 dia de trabalho humano investido.
.A OpenAI também afirmou que o número de experimentos conduzidos por pesquisadores usando agentes de IA continuou a crescer desde 2026, e o número de experimentos conduzidos por cada experimentador ativo em agosto atingiu o nível mais alto desde o início das estatísticas em janeiro de 2025. No entanto, a OpenAI também enfatizou que há uma correlação entre o aumento no número de experimentos e o aumento no uso do Codex, mas o poder de computação disponível da empresa também aumentou significativamente durante o mesmo período.
Portanto, toda a aceleração de P&D não pode ser simplesmente atribuída ao AI Agent.
O que é mais digno de nota é que a OpenAI afirma ter alcançado seu objetivo previamente definido de “estagiários de pesquisa automatizada em IA” – o sistema pode concluir tarefas de pesquisa bem definidas sob orientação humana que exigiriam que pesquisadores qualificados concluíssem em vários dias. A próxima meta da empresa é desenvolver pesquisadores automatizados de IA até
março de 2028
.A OpenAI acredita que a ferramenta Agent já está “acelerando significativamente” o processo de pesquisa interna.
Mas isto também cria um problema que não existia no passado:
Se a IA começar a ajudar os humanos a desenvolver a próxima geração de IA mais rapidamente, então o progresso da própria IA poderá formar um feedback acelerado.
A IA mais forte ajuda os pesquisadores a escrever códigos, executar experimentos e analisar resultados, para que os pesquisadores possam desenvolver modelos de próxima geração com mais rapidez; novas melhorias nas capacidades dos modelos da próxima geração poderão acelerar ainda mais a investigação e o desenvolvimento.
A OpenAI chama essa situação adicional de "autoaperfeiçoamento recursivo (RSI)".
No entanto,
atualmente não há evidências de que tenha sido alcançado um autoaperfeiçoamento totalmente autônomo e recursivo sem envolvimento humano.
Os próprios dados da OpenAI também mostram que os Agentes ainda requerem intervenção humana significativa para realizar tarefas de investigação complexas: nos últimos seis meses, mais de metade das tarefas de 4 a 8 horas concluídas com sucesso exigiram pelo menos uma intervenção humana.Portanto, o que realmente preocupa as empresas de IA agora não é que "a IA já possa se atualizar infinitamente", mas:
a pesquisa e o desenvolvimento de IA assistida por IA começaram a acontecer, e ainda é incerto se a pesquisa em segurança pode melhorar no mesmo ritmo.
A IA começa a fazer coisas que os desenvolvedores não esperavam
Outra questão que levou a indústria a rediscutir a velocidade são os incidentes de segurança dos Agentes que ocorreram um após o outro nos últimos meses.
O Financial Times informou que quando a OpenAI testou um modelo ainda a ser lançado este ano, ela usou mais de
1.000 agentes de IA
Atuei em conjunto em um teste de segurança de rede. Investigações pós-evento relevantes descobriram que esses agentes se comunicavam, atribuíam tarefas por meio de painéis de mensagens e completavam objetivos de teste de maneiras que os desenvolvedores não esperavam, o que também envolvia a infraestrutura real do Hugging Face.É preciso enfatizar que
esses comportamentos não podem ser explicados diretamente, pois a IA desenvolveu "autoconsciência" ou decidiu ativamente resistir aos humanos.
Uma das explicações mais precisas atualmente é o “hackeamento de recompensas”: para atingir os objetivos definidos pelo treinamento ou avaliação, o sistema encontra atalhos que os desenvolvedores não esperavam ou mesmo permitiam.
A própria Anthropic encontrou problemas semelhantes.
A empresa divulgou em 9 de setembro que havia confirmado
4 incidentes de acesso não autorizado do modelo Claude a sistemas reais de terceiros durante os testes
. A mais recente destas divulgações ocorreu em janeiro deste ano e envolveu uma versão inicial do Claude Opus 4.6.A Anthropic afirmou que a empresa já havia revisado aproximadamente
141.000 registros de testes
para investigar acidentes semelhantes. , mas a primeira inspeção ainda não percebeu o incidente. Posteriormente, a empresa expandiu o escopo da inspeção para aproximadamente481 milhões de registros
.A análise preliminar desses incidentes feita pela Anthropic encontrou dois problemas recorrentes: um é que o modelo avalia mal se está em um ambiente real de Internet; a outra é que está disposto a tomar medidas que possam causar danos para completar a tarefa.
Esses incidentes ilustram pelo menos uma coisa:
À medida que os Agentes ganham a capacidade de operar de forma autônoma por longos períodos de tempo, chamar ferramentas e acessar sistemas externos, fica cada vez mais difícil cobrir todos os caminhos de comportamento possíveis, confiando apenas nos desenvolvedores para especificar "o que eles não podem fazer" antecipadamente.
Como a OpenAI e a Anthropic vão "frear"?
Amodei propôs um plano de três níveis.
O primeiro nível é
introduzir agências externas de avaliação de segurança diretamente na empresa de IA.
Ele propôs permitir que avaliadores de agências terceirizadas, como o METR, entrassem na empresa de maneira semelhante à dos supervisores bancários locais, obtivessem crachás de trabalho, mesas e computadores e tivessem direitos de acesso às informações aproximadamente equivalentes aos da equipe interna de avaliação de risco da empresa, na medida permitida por lei e contrato.
O objetivo não é apenas testar o modelo, mas também verificar se a empresa de IA realmente cumpre seus compromissos de segurança e se os principais incidentes de segurança foram totalmente divulgados.
Amodei disse que a Anthropic se comprometerá
unilateralmente com a implementação deste plano
, ao mesmo tempo que apela ao governo para exigir que outras empresas de IA de ponta tomem medidas semelhantes. Altman mais tarde chamou isso de “boa ideia” e disse que a OpenAI faria o mesmo e que mais detalhes seriam anunciados posteriormente.A segunda camada é estabelecer
padrões de segurança comuns entre as principais empresas de IA e estabelecer limites para a taxa de crescimento das capacidades de IA sem inspeções de segurança adequadas.
Há um verdadeiro obstáculo aqui: a competição.
O Financial Times citou pessoas próximas de empresas relevantes que afirmaram que os principais laboratórios de IA estão preocupados com o facto de a coordenação formal de medidas de segurança poder ser considerada um conluio entre empresas, desencadeando assim questões antitrust. Amodei, portanto, sugeriu que o governo dos EUA poderia fornecer isenções antitruste restritas para discussões específicas sobre segurança de IA.
O terceiro nível é ainda mais difícil -
Coordenação internacional.
Amodei propôs que, em última análise, os Estados Unidos e os seus aliados ainda precisam de tentar coordenar os riscos da IA com outros países, incluindo a China. Admitiu também que existem limites claros para este tipo de cooperação, pelo que podemos começar primeiro com áreas muito estreitas, perigosas e altamente claras, como a restrição da utilização de IA para ajudar a criar armas biológicas.
Isso não significa que a China e os Estados Unidos precisem parar de competir em IA, mas sim tentar estabelecer regras mínimas comuns em áreas de risco extremo.
A maior questão: quem desacelera primeiro e quem perderá primeiro?
Este também é o problema mais difícil de resolver "pisando no freio".
Embora tanto a OpenAI quanto a Anthropic acreditem que a pesquisa e o desenvolvimento de algumas capacidades de ponta devam ser desaceleradas, elas ainda enfrentam uma competição comercial acirrada.
Dos mais de 20 investigadores, investidores, académicos e figuras políticas de IA entrevistados pelo Financial Times, muitos acreditam que a atual velocidade de avanço nas capacidades dos modelos e a concorrência entre as empresas de IA estão a aumentar o risco de as medidas de segurança serem comprimidas.
Stuart Russell, professor da Universidade da Califórnia, Berkeley, disse ao FT que a competição entre empresas levará as empresas a tomar atalhos em questões de segurança.
Mas, por outro lado, a avaliação do “risco de sobrevivência” da IA ainda é altamente controversa na indústria.
Os críticos, incluindo alguns profissionais técnicos e figuras políticas, acreditam que a ênfase nos riscos extremos da IA por parte de empresas líderes como a OpenAI e a Anthropic também pode promover objectivamente um sistema regulamentar dispendioso, aumentando assim os custos de conformidade dos pequenos concorrentes e, em última análise, consolidando a posição de mercado das empresas líderes.
Atualmente não há nenhuma conclusão verificável e certa sobre o julgamento de que "a super IA pode eventualmente levar à extinção da humanidade". Em contraste, surgiram casos reais de riscos como ataques cibernéticos, assistência ao desenvolvimento de armas, fraude e operação não autorizada de sistemas reais por agentes.
Portanto, a “desaceleração” atualmente discutida pela OpenAI e pela Anthropic não precisa ser baseada na suposição de que “a IA definitivamente destruirá a humanidade”.
Uma questão mais realista é bastante urgente:
Quando as capacidades do modelo começam a crescer mais rápido do que os humanos conseguem descobrir problemas, compreender problemas e estabelecer medidas de proteção, ainda será a escolha ideal continuar a manter a velocidade de desenvolvimento mais rápida?
Nos últimos anos, os indicadores competitivos das empresas de IA de ponta têm sido muito simples: quem tem um modelo mais forte, quem o lança mais rapidamente e quem tem mais poder computacional.
Mas o que aconteceu nos últimos meses foi adicionar uma quarta variável:
Quem pode provar que pode controlar uma IA cada vez mais poderosa.
A OpenAI deixou claro que se uma determinada pesquisa e desenvolvimento trouxer riscos de segurança inaceitáveis que não possam ser totalmente mitigados, a empresa tomará medidas, incluindo
desacelerar ou até mesmo interromper o desenvolvimento ou implantação de sistemas relacionados
medidas incluídas. A Antrópica propôs ainda permitir que agências externas entrassem diretamente no laboratório de IA para supervisão.Isso não significa que a corrida pela IA está prestes a parar. A OpenAI ainda está desenvolvendo pesquisadores automatizados de IA, e a Anthropic não anunciou que interromperá o treinamento de modelos de próxima geração.
O que realmente está mudando é que pelo menos duas grandes empresas de IA de ponta estão começando a reconhecer publicamente que:
Em alguns casos, “mais rápido” pode não ser mais automaticamente igual a “melhor”.
Quando a IA só consegue responder perguntas, quanto mais rápido o crescimento nas capacidades do modelo geralmente significa um produto mais forte; mas quando a IA começa a ser capaz de executar tarefas de forma autónoma, entrar na Internet real e até ajudar os humanos a desenvolver a próxima geração de IA, a própria taxa de crescimento das capacidades começa a tornar-se uma variável que precisa de ser gerida.
Esta pode ser a verdadeira razão pela qual a OpenAI e a Anthropic estão agora discutindo "pisar no freio".
Comentários