Resumo:
Jacob Coxon anunciou sua demissão da Anthropic on X. Ele disse que esteve envolvido em pesquisas de pré-treinamento na OpenAI e na Anthropic nos últimos três anos, mas acredita que nenhuma das empresas está avançando no desenvolvimento de IA de maneira responsável. Em vez disso, estão “indo direto para a superinteligência auto-aperfeiçoada” e colocando a segurança humana em risco.
Coxon disse que os sistemas de IA que estão sendo construídos atualmente nesses laboratórios fechados em breve terão capacidades "sobre-humanas", capazes de realizar ataques de hackers, mudar o padrão de um determinado campo durante a noite e ganhar poder e recursos no mundo real. Ele ressaltou que o progresso relevante da pesquisa continuou a avançar em múltiplas direções e não mostra sinais óbvios de desaceleração.
Ele também mencionou que, a julgar pelas declarações públicas do CEO da OpenAI, Sam Altman, e do CEO da Anthropic, Dario Amodei, o mundo exterior pode pensar que ambas as empresas estão avançando cautelosamente no desenvolvimento da IA, mas ele acredita que este não é o caso. Coxon afirma que estes profissionais acreditam, em particular, que a IA “poderá matar-nos a todos até ao final do século” e que isto não é conversa de marketing; ele também disse que executivos como Altman e Amodei ajustarão a sua retórica quando confrontados com os meios de comunicação para parecerem mais contidos, mas, no íntimo, estão na verdade profundamente preocupados com o que está a ser criado.
Na sua opinião, as culturas internas da OpenAI e da Anthropic também são diferentes. Coxon disse que muitos funcionários da OpenAI não estão “profundamente conscientes dos riscos envolvidos no nível da civilização”; na Anthropic, os riscos relevantes são “muito claros para todos”, mas a empresa ainda está na corrida para ser a primeira a desenvolver AGI. Coxon disse que a Anthropic acredita que, como outros podem não agir de forma responsável, ela terá que vencer a corrida primeiro.
Coxon acredita que, neste contexto, muitas decisões importantes não devem ser tomadas apenas no Slack em empresas privadas. Ele está cautelosamente optimista quanto ao aumento da coordenação entre os laboratórios de IA dos EUA após os acontecimentos recentes, mas acredita que tal cooperação será ineficaz quando for alargada a laboratórios fora dos Estados Unidos. Para este fim, ele propôs que uma proibição temporária de melhorias na capacidade do modelo pudesse ser considerada.
No final do post, Jacob Coxon apelou a outros investigadores de laboratório para pensarem seriamente nos próximos cinco anos, não para continuarem a evitar problemas, mas para impulsionarem o desenvolvimento da IA em diferentes direcções.
Comentários