A OpenAI anunciou hoje a criação de uma nova equipe encarregada de analisar, avaliar e detectar modelos de inteligência artificial para proteção contra o que descreve como “riscos catastróficos”. A equipe, chamada Preparedness, será liderada por Aleksander Madry, diretor do Center for Deployable Machine Learning do MIT. (De acordo com o LinkedIn, Madrid ingressou na OpenAI em maio deste ano como “chefe de preparação”).
A principal responsabilidade da preparação é rastrear, prever e proteger contra perigos futuros dos sistemas de inteligência artificial, incluindo a sua capacidade de persuadir e enganar os seres humanos (como ataques de phishing) e a sua capacidade de gerar código malicioso.
Algumas das categorias de risco que a Preparação analisa parecem mais... absurdas do que outras. Por exemplo, num post de blog, a OpenAI listou ameaças “químicas, biológicas, radiológicas e nucleares” como as principais áreas de foco para os seus modelos de IA.
O CEO da OpenAI, Sam Altman, é um conhecido apocalíptico da IA que muitas vezes se preocupa que a inteligência artificial “poderia levar à extinção da raça humana” – seja devido a efeitos visuais ou crenças pessoais. Mas, francamente, a OpenAI pode realmente dedicar recursos ao estudo de um cenário saído diretamente de uma utopia de ficção científica, o que é um passo além do que o autor deste artigo esperava.
A empresa disse que também está aberta a estudar áreas “menos óbvias” e mais realistas de risco de IA. Para coincidir com o lançamento da equipe de Preparação, a OpenAI está solicitando ideias de pesquisa de risco da comunidade, e os dez primeiros inscritos receberão um bônus de US$ 25.000 e um emprego em Preparação.
“Imagine que lhe damos acesso irrestrito aos modelos Whisper (transcrição), Voice (texto para fala), GPT-4V e DALLE-3 da OpenAI, e você é um ator malicioso”, diz uma pergunta na chamada para inscrições. "Considere os abusos de modelo mais exclusivos, mas potencialmente catastróficos, que ainda podem ocorrer."
A OpenAI disse que a equipe de preparação também será responsável pelo desenvolvimento de uma "política de desenvolvimento informada sobre riscos" que detalhará a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, as ações de mitigação de riscos da empresa e a estrutura de governança que supervisiona todo o processo de desenvolvimento do modelo. A empresa afirma que o objetivo é complementar o outro trabalho da OpenAI em segurança de IA, com foco nos estágios pré e pós-implantação dos modelos.
“Acreditamos... que os modelos de inteligência artificial superarão as capacidades dos modelos existentes de última geração, com potencial para beneficiar toda a humanidade”, escreveu OpenAI na postagem do blog acima. "Mas também representam riscos cada vez mais graves... Precisamos de garantir a compreensão e a infraestrutura necessárias para proteger sistemas de IA altamente capazes."
A OpenAI divulgou seu plano de “Preparação” em uma importante cúpula do governo do Reino Unido sobre segurança de inteligência artificial, depois de anunciar que formaria uma equipe para pesquisar, orientar e controlar formas emergentes de inteligência artificial “superinteligente”. O CEO Altman e Ilya Sutskever, cientista-chefe e cofundador da OpenAI, acreditam que a inteligência artificial com inteligência sobre-humana pode surgir dentro de uma década, e que esta inteligência artificial não será necessariamente bem-intencionada, por isso é necessário pesquisar formas de limitá-la e restringi-la.