Resumo:
O CEO da Anthropic, Dario Amodei, disse que a indústria de inteligência artificial precisa desacelerar o desenvolvimento de novos modelos e citou preocupações crescentes de que a inteligência artificial representaria riscos “sérios” para os humanos. “Devemos desacelerar o ritmo com que melhoramos as capacidades dos nossos modelos de IA”, escreveu ele num blog no sábado. "O progresso ainda parece rápido e devemos usar o tempo que ganhamos com sabedoria."
Ele citou dois fatores principais: a capacidade da inteligência artificial de se aprimorar e um incidente recente envolvendo OpenAI e Hugging Face. Neste incidente, um grupo de agentes de IA colaborou entre si para violar um site de terceiros.
Ele acrescentou: "É preciso ficar claro que controlar o ritmo não significa interromper o treinamento do modelo ou o progresso tecnológico, mas significa garantir que as empresas invistam tempo suficiente no ajuste do modelo e na tomada de medidas de segurança, permitindo ao mesmo tempo que avaliadores terceirizados confirmem isso."
As preocupações sobre os sérios riscos representados pela inteligência artificial começaram a se tornar comuns, em parte devido à demissão de alto nível esta semana de um pesquisador da Antrópico que se preocupava com os riscos existenciais da inteligência artificial e acreditava que a empresa havia adotado práticas irresponsáveis.
Dario Amodei
Pouco depois de Amodei publicar o artigo, ele assumiu o comando da xAI Corp. Elon Musk escreveu: "Dario está certo."
O CEO da OpenAI, Sam Altman, também expressou rapidamente sua opinião, dizendo que concordava com a afirmação da Amodei de que “precisamos controlar o ritmo de desenvolvimento de modelos de ponta”.
"Dar aos avaliadores independentes acesso semelhante ao dos funcionários é uma ótima ideia e faremos o mesmo", escreveu ele em uma postagem no X. "Compartilharemos mais informações em breve."
Durante o boom da inteligência artificial, os executivos dos principais laboratórios de inteligência artificial alertaram sobre possíveis riscos existenciais para a humanidade. Esta afirmação é por vezes rejeitada como uma tentativa de promover as capacidades do seu produto e apresentar-se como a mais adequada para gerir a tecnologia. O próprio Amodei disse anteriormente que há 25% de chance de que as coisas corram "muito, muito mal".
A Anthropic há muito se posiciona como uma empresa focada mais no desenvolvimento de inteligência artificial de maneira responsável e segura para mitigar os perigos potenciais da tecnologia e maximizar seus benefícios sociais. No início deste ano, a empresa esforçou-se para limitar o lançamento do seu modelo Mythos depois de determinar que representava uma ameaça especial à segurança cibernética. A Antrópica também afirmou anteriormente que o mundo precisa estabelecer um mecanismo para decidir em conjunto quando o desenvolvimento desta tecnologia deve ser desacelerado.
Ao mesmo tempo, a Anthropic permanece presa em uma competição feroz com a rival de longa data OpenAI, com ambas as empresas desenvolvendo modelos cada vez mais sofisticados para ajudar os usuários corporativos a automatizar tarefas mais complexas e valiosas. Ambas as empresas apresentaram documentos confidenciais para a listagem, e espera-se que a Anthropic chegue a Wall Street ainda este ano.
Pouco depois que o incidente de segurança Hugging Face veio à tona, a Anthropic revelou que seus modelos haviam comprometido três organizações durante testes de segurança cibernética, alimentando ainda mais preocupações sobre a capacidade do laboratório de IA de evitar que sua tecnologia saísse do controle. No início desta semana, a Anthropic disse ter descoberto uma quarta intrusão.
Embora nenhuma das intrusões de agentes, incluindo o Hugging Face, tenha causado perdas significativas até agora, Amodei disse estar preocupado que "em 6 a 12 meses, tal cluster de agentes possa ter a capacidade de assumir o controle de toda a Internet através de uma botnet persistente (possivelmente causando perdas de centenas de bilhões de dólares), e a escala de danos continuará a se expandir a partir de então."
A Anthropic se comprometerá a fornecer aos avaliadores terceirizados acesso total para verificar as medidas de segurança e relatar incidentes, escreveu Amodei. A Anthropic em breve terá esses avaliadores no local, disse ele, fornecendo-lhes mesas, crachás, laptops da empresa e “acesso geralmente equivalente à equipe interna de avaliação de risco”.
Mais medidas exigirão coordenação em toda a indústria e cooperação global, disse ele.
"Continuo acreditando que a inteligência artificial pode melhorar muito a qualidade da vida humana. Meu desejo de obter esses benefícios não diminuiu", escreveu ele. "Mas estes benefícios só podem ser alcançados se a tecnologia for desenvolvida da forma correta; e desde que façamos bom uso do tempo que adquirimos, vale a pena tomar um grau incomum de cautela para garantir que agimos corretamente."
As preocupações estão aumentando
No início desta semana, Altman disse que a empresa estava considerando desacelerar o desenvolvimento de inteligência artificial de ponta e que idealmente tomaria medidas coordenadas com a indústria como um todo.
O cientista-chefe da empresa, Jakub Pachocki, publicou anteriormente um artigo alertando sobre os perigos da inteligência artificial e disse acreditar que as empresas deveriam "coordenar-se para desacelerar o desenvolvimento futuro, se necessário".
O pesquisador de inteligência artificial Jacob Coxon renunciou na terça-feira, acusando seus dois ex-empregadores - Anthropic e OpenAI - de "arriscar nossas vidas" em sua corrida para desenvolver IA superinteligente. Coxon disse em uma postagem nas redes sociais que os desenvolvedores de IA acreditam que a tecnologia poderia “matar todos nós antes do final desta década”.
Nesse sentido, Evan Hubinger, que atualmente trabalha na Anthropic, disse que ele e outras pessoas da empresa estão realmente preocupados com esse cenário. “Eu pessoalmente acredito que a probabilidade de isso acontecer nos próximos dez anos é superior a 10%.” Ele escreveu no X.
Sam Altman
Já em julho, mais de 1.000 funcionários das principais empresas de inteligência artificial assinaram uma petição apelando ao governo dos EUA para apoiar o estabelecimento de um mecanismo para ajudar a "controlar conscientemente" o ritmo do desenvolvimento da inteligência artificial para evitar que a tecnologia se desenvolva demasiado rapidamente.
Os modelos de IA estão se tornando cada vez mais capazes de realizar ataques de hackers de forma autônoma. Anthropic, OpenAI e Meta divulgaram nos últimos meses que seus modelos violaram ambientes de teste, acessaram a Internet aberta e comprometeram vítimas do mundo real durante os testes.
Amodei escreveu no artigo que uma estratégia coordenada permitirá que empresas líderes do setor de inteligência artificial dos EUA concluam o trabalho de segurança necessário sem sacrificar qualquer vantagem competitiva. Ele disse que isso exigiria certas isenções antitruste dos Estados Unidos para permitir que as empresas se coordenassem em áreas específicas.
Mas, até agora, a administração Trump mostrou pouco interesse em reforçar as regulamentações e colocar barreiras ao desenvolvimento da IA.
Comentários