Resumo:
Enquanto o mundo exterior espera que a OpenAI divulgue mais detalhes sobre o incidente do Agente invadindo autonomamente o site do programador alemão DseWiki, em 6 de setembro, horário local, a OpenAI divulgou dois documentos: anunciando que a empresa atingiu a meta definida no ano passado e tem "estagiários de pesquisa automatizada" que podem completar vários dias de trabalho de pesquisadores qualificados sob orientação humana; o outro, escrito pelo cientista-chefe Jakub Pachocki, centra-se no dilema de segurança do desenvolvimento de IA de ponta, enfatizando que nenhum laboratório resolve atualmente um grau suficiente de problemas de alinhamento e monitorização.
O que os dois documentos divulgados são uma descrição completa do estágio atual de desenvolvimento de IA pela OpenAI: A IA começou a acelerar a pesquisa e o desenvolvimento de IA, mas não foi comprovado que as capacidades de segurança, alinhamento e controle humano crescem na mesma proporção.
O que a OpenAI chama de "estagiário de pesquisa automatizada" não é um cientista totalmente autônomo, mas alguém que pode concluir tarefas de pesquisa bem definidas sob orientação humana, que geralmente levam vários dias para serem concluídas por pesquisadores qualificados, e está caminhando em direção ao objetivo de estabelecer um "pesquisador de IA automatizada" em março de 2028.
Os dados mostram que, em meados de agosto deste ano, a taxa média de inferência incorrida pelos pesquisadores que usam agentes de programação todos os dias ultrapassava US$ 600, e os 10% principais usuários gastavam mais de US$ 7.000 em tokens todos os dias. As tarefas realizadas pelos Agentes estão se expandindo desde a escrita de códigos e solução de problemas de infraestrutura até trabalhos de pesquisa mais complexos e de longo prazo.
Isso significa que o impacto da IA na pesquisa e desenvolvimento de IA começa com a assistência aos programadores na escrita do código e começa a entrar nos links de experimento, análise e execução de pesquisa.
Mas, ao mesmo tempo, a OpenAI também admitiu que esses indicadores ainda estão nos estágios iniciais, o progresso geral do trabalho de pesquisa não aumentará simplesmente proporcionalmente e tarefas complexas ainda exigirão muita intervenção manual; nos últimos seis meses, mais de metade das tarefas que completaram com êxito 4 a 8 horas de carga de trabalho humano ainda exigiam pelo menos uma intervenção manual.
A tendência é bastante óbvia: a IA está se tornando uma ferramenta de produtividade que impulsiona o crescimento dos recursos de IA da próxima geração.
Simultaneamente ao crescimento das capacidades está o estreitamento dos limites de segurança.
Em julho, a OpenAI divulgou um modelo que invadiu sistemas relacionados ao Hugging Face; em agosto, o GPT-6 Astra atingiu o limite de capacidade de segurança de rede de “nível crítico”; em setembro, o incidente DseWiki divulgado pelos pesquisadores mostrou ainda que os Agentes não precisam necessariamente de “hacking” no sentido tradicional para romper os limites estabelecidos pelos desenvolvedores.
O que os incidentes acima têm em comum é que as ações reais do modelo começam a exceder os limites comportamentais originalmente projetados pelos desenvolvedores. Essa também é a questão que mais preocupa Pachocchi no momento. Em um artigo publicado hoje, ele relembrou seu humor quando alcançou um avanço na pesquisa de modelos de inferência interna em 2023: O que realmente o chocou naquele momento não foi a pontuação do modelo no teste, mas o fato de os humanos poderem estar entrando em uma era em que “as máquinas são mais inteligentes do que nós”.
Três anos depois, ele acredita que o problema não está mais longe.
Pachocki escreveu que atualmente nenhum laboratório torna o alinhamento e o monitoramento de IA confiáveis o suficiente para continuar a escalar de forma responsável e em alta velocidade por muito tempo. Ele espera que os laboratórios abrandem voluntariamente o seu desenvolvimento até que sejam estabelecidas normas de segurança comuns e apela aos governos para que façam da coordenação internacional uma prioridade.
Esta preocupação não se dirige a uma vulnerabilidade específica, mas sim a uma lacuna de velocidade mais fundamental: as capacidades dos modelos estão a melhorar rapidamente, mas as capacidades humanas para compreender, monitorizar e restringir estes sistemas podem não estar sincronizadas.
Isso reflete diretamente os dados de aceleração de pesquisa divulgados hoje pela OpenAI. Por um lado, a empresa está a utilizar o Agent para acelerar a investigação e desenvolvimento de IA, embora admita que não pode assumir que as capacidades de alinhamento e segurança irão definitivamente alcançar as capacidades do modelo, e que sistemas mais poderosos podem ser mais difíceis de monitorizar. Se a IA puder participar na concepção, formação e melhoria da próxima geração de IA no futuro, esta lacuna poderá aumentar ainda mais.
Com base nisto, Pachocchi acredita que, à medida que a inteligência artificial entra numa nova fase de desenvolvimento, confiar apenas nos mecanismos internos de uma única empresa de IA pode não ser suficiente para enfrentar os riscos, sendo necessária uma intervenção institucional mais ampla, incluindo padrões de segurança comuns e coordenação internacional.
Comentários