Resumo:
De acordo com o "Business Insider",
Poucos dias depois que a OpenAI lançou um novo e poderoso modelo, o cientista-chefe da empresa pediu desaceleração do desenvolvimento da IA
. No domingo, horário local, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um longo artigo dizendo que estava preocupado com o fato de “ninguém estar preparado para as consequências do rápido aumento contínuo da inteligência das máquinas”.
Pachocchi
Embora a OpenAI esteja desenvolvendo soluções técnicas internamente para controlar melhor agentes poderosos de IA, “são necessárias intervenções mais amplas”, disse ele. Ele está particularmente preocupado com o facto de, à medida que os agentes de IA se tornam mais autónomos, possam aprender a fugir à supervisão humana, invadir sistemas informáticos e enganar os humanos para atingir os seus objetivos.
Ele pediu o estabelecimento de um "limiar de segurança obrigatório"
, e disse que as medidas poderiam ser executadas por “uma rede de auditores terceirizados, agências governamentais ou agências internacionais”.O CEO da OpenAI, Sam Altman, republicou a postagem de Pachocki na plataforma X, chamando-a de “um artigo importante”. OpenAI lançou seu modelo mais recente, Astra, na última quinta-feira. O desenvolvedor do ChatGPT disse que, apesar das capacidades incomparáveis do Astra em matemática e operações computacionais, é também o modelo atual do OpenAI que é mais consistente com os valores e intenções humanas, o que significa que é menos propenso a sair do controle.
O principal concorrente da OpenAI, a Anthropic, há muito pede ao governo que introduza medidas regulatórias mais padronizadas. Mais recentemente, Pachocki juntou-se ao apelo, assinando uma carta aberta em julho pedindo ao governo federal dos EUA que controlasse o ritmo de desenvolvimento da IA.
Os agentes de IA estão se tornando “sobre-humanos” ao invadir sistemas protegidos na Internet aberta, e suas capacidades de hacking colocam a infraestrutura mundial em risco, disse Pachochi. “Estamos atualmente em uma breve janela em que podemos aproveitar os melhores modelos disponíveis para melhorar significativamente a segurança de sistemas críticos”, disse ele.
Modelos evitam monitoramento humano
Ele observou que os agentes de IA em breve começarão a perseguir seus próprios objetivos, que podem diferir das palavras digitadas pelos operadores humanos. Ele disse que os agentes podem até chantagear ou negociar com humanos para atingir seus objetivos.
Pachocki disse que a OpenAI monitora principalmente o "raciocínio da cadeia de pensamento" usado por diferentes modelos para determinar como o agente se desvia do caminho e perde o controle. Por exemplo, um agente poderia pensar secretamente: “Eu deveria colar neste teste”, e a OpenAI seria capaz de ver esse raciocínio, mas o agente não perceberia que seu pensamento é perceptível.
No entanto, Pachocki disse que os modelos mais recentes estão se tornando melhores na manipulação de seus próprios processos de raciocínio, impedindo que a OpenAI veja seus pensamentos verdadeiros e puros. Alguns dos modelos mais recentes nem sequer verbalizam o seu raciocínio. Este desenvolvimento pode tornar-se um gargalo no desenvolvimento da IA, uma vez que os investigadores precisam de garantir que podem ver o “registo de inferência” do modelo.
Modelo de autoaperfeiçoamento
Mais e mais modelos de IA estão melhorando continuamente suas capacidades por meio do que Pachocki chama de "autoaperfeiçoamento recursivo da máquina". Este processo fornece um caminho rapidamente escalável para o desenvolvimento de IA.
No entanto, Pachocki alertou que acelerar significativamente a pesquisa e o desenvolvimento de "IA para melhorar a IA" no curto prazo trará riscos e não é "a ação coletiva correta que deveríamos tomar como comunidade de pesquisa".
Os supervisores humanos precisam encontrar formas inovadoras de monitorar o processo de autoaperfeiçoamento da IA, ou então coordenar-se com outras empresas de IA para desacelerar a pesquisa e o desenvolvimento para "criar confiança nessas medidas", disse Paciochi.
“
O principal desafio de automatizar a pesquisa em IA é não atingir o objetivo
, mas para atingir os objetivos de uma forma que permita aos seres humanos continuar a participar neste processo de melhoria contínua e garanta que o futuro permaneça nas mãos humanas. "Ele disse.
Comentários