O objetivo da OpenAI é desenvolver uma ferramenta de IA que possa se otimizar. Agora a empresa está se preparando para os riscos que isso acarreta. O potencial dos sistemas de IA para o chamado “autoaperfeiçoamento recursivo” tornou-se um foco dos líderes da indústria de IA após enormes avanços nas ferramentas de programação da OpenAI e da Anthropic nos últimos seis meses.

Demis Hassabis disse esta semana que a humanidade está agora aos pés da “singularidade” – o momento em que a IA começa a desenvolver-se por si própria e a ultrapassar a inteligência humana.

A OpenAI, que planeja abrir o capital este ano, publicou recentemente uma vaga de emprego incomum: a empresa está procurando um pesquisador de segurança para estudar as consequências “quando a IA puder treinar uma versão melhor de si mesma”.

O anúncio de emprego foi publicado este mês para a equipe de segurança de preparação da OpenAI. O salário total anual para o cargo varia entre 250 mil e 380 mil euros, e o recrutamento visa “especialistas técnicos experientes para apoiar os preparativos para o autoaperfeiçoamento recursivo”.

As informações de recrutamento dizem:

“Este trabalho se baseia em pensar em problemas que não existem agora, mas que podem surgir no futuro.”

“Portanto, é particularmente importante que esta posição tenha uma mentalidade ponderada e estratégica.”

Os principais laboratórios de IA estão correndo para desenvolver modelos de “autotreinamento”

Recentemente, laboratórios como OpenAI e Anthropic continuaram a melhorar as capacidades dos seus modelos a um ritmo surpreendente – uma melhoria que se reflecte na complexidade dos problemas que podem resolver.

Pesquisadores do METR, um laboratório que estuda capacidades de modelos, escreveram em março deste ano: A duração das tarefas que os modelos de IA podem completar está dobrando aproximadamente a cada sete meses – esses modelos são cada vez mais capazes de assumir tarefas que anteriormente levariam muito tempo para os humanos serem concluídas.

Eles concluíram que os agentes de IA seriam capazes de assumir uma “parte significativa” do trabalho de desenvolvimento de software que, de outra forma, levaria dias ou até semanas para os programadores humanos.

A OpenAI está promovendo ativamente esta visão – a venda de suas ferramentas de programação Codex para empresas tornou-se uma importante fonte de receita.

A empresa também espera automatizar seu próprio trabalho de pesquisa. O CEO Sam Altman disse em outubro do ano passado que o objetivo da empresa é ter um “estagiário de pesquisa automatizada de IA” rodando em centenas de milhares de chips até setembro deste ano; e alcançar um “verdadeiro pesquisador de IA automatizado” até março de 2028.

“É inteiramente possível que falhemos neste objetivo”, escreveu Altman no X, “mas dado o enorme impacto potencial, acreditamos que é do interesse público discutir este assunto de forma aberta e transparente”.

Em abril deste ano, a Anthropic divulgou um estudo: usando modelos de IA para supervisionar modelos de IA mais poderosos. Os resultados são encorajadores, mas existem limitações claras.

Em maio deste ano, o cofundador e diretor de políticas da Anthropic, Jack Clark, disse acreditar que a probabilidade de alcançar “P&D de IA sem participação humana” até o final de 2028 era de cerca de 60%.

OpenAI está se preparando para "IA de autoaperfeiçoamento"

Se os modelos de IA pudessem treinar-se, poderia surgir uma distopia de ficção científica: as suas capacidades crescem rapidamente, escapam ao controlo e causam danos generalizados – uma preocupação de longa data do movimento de segurança da IA.

Elizabeth Barnes escreveu na sexta-feira que, em sua opinião, “qualquer civilização ‘racional’ avançaria no desenvolvimento da IA ​​de uma maneira significativamente mais lenta e cautelosa”.

As informações de recrutamento da OpenAI também revelam como a empresa está se preparando para um mundo onde “os modelos de IA podem melhorar rapidamente”.

O anúncio de emprego menciona que o pesquisador pode se concentrar na proteção dos modelos OpenAI contra ataques de “envenenamento de dados” – o ato de corromper um modelo de IA por meio de dados de treinamento manipulados.

O funcionário também pode desenvolver ferramentas para explicar o processo de pensamento do modelo ou realizar experimentos para compreender a segurança e os perigos potenciais desses modelos.

O anúncio de emprego também menciona que o pesquisador pode ser obrigado a “acompanhar o progresso da automação em cargos técnicos” – incluindo medir o uso de ferramentas de programação de IA.

A equipe de preparação da OpenAI é responsável por evitar que a IA cause danos graves. Outras funções na equipe incluem testes automatizados da equipe vermelha para avaliar a segurança cibernética, riscos biológicos e químicos e ameaças representadas pelo “agente IA”.

O anúncio de emprego da equipe de Preparação diz:

“Este é um trabalho urgente e de ritmo acelerado, cujo impacto se repercutirá na empresa e na sociedade como um todo.”