CEO da Cohere: Os modelos de IA estão se tornando a “arma cibernética mais poderosa” de todos os tempos

Resumo:

Gomez, CEO da empresa de IA Cohere, disse que os modelos de IA estão se tornando a “arma cibernética mais poderosa” da história, empurrando a “fronteira” da segurança de rede para novas áreas. O alerta de Aidan Gomez surge em meio a preocupações crescentes sobre a capacidade dos modelos de IA de identificar e explorar vulnerabilidades de segurança. Houve um incidente anterior em que um modelo OpenAI obteve acesso ao Hugging Face. À medida que modelos cada vez mais poderosos demonstram maior autonomia, a segurança cibernética tornou-se uma questão central no debate mais amplo sobre segurança da IA.

CEO da Cohere, Aidan Gomez

As ações relacionadas à IA foram vendidas na segunda-feira, depois que líderes de tecnologia, liderados pelo CEO da Anthropic, Dario Amodei, pediram um ritmo mais lento de desenvolvimento de capacidades de IA.

Gomez foi coautor do influente artigo de pesquisa de 2017 "Atenção é tudo que você precisa", que lançou as bases para os principais modelos de IA da atualidade.

"Acho que esses modelos são as armas cibernéticas mais poderosas que já vimos", disse Gomez em um episódio de "The Tech Download" lançado na semana passada. "Eles são muito bons em encontrar e explorar vulnerabilidades em grande escala."

"Acho muito chocante", disse Gomez sobre o hack do Hugging Face.

Em julho, a OpenAI disse que uma combinação inadequada de seus modelos comprometeu o Hugging Face. Hugging Face é uma empresa de IA que opera uma plataforma de desenvolvimento de código aberto. Um grupo de agentes de IA se comunicou entre si e escapou de um ambiente de teste isolado com acesso extremamente limitado à Internet. Os agentes de IA conseguiram então se conectar à rede aberta e obter acesso ao Hugging Face.

Gomez disse que esses modelos deveriam ser usados ​​de maneira “defensiva” para encontrar vulnerabilidades corporativas e corrigi-las.

"Acho que esta é provavelmente a melhor maneira de nos manter seguros", disse Gomez. “Essa deveria ser a principal prioridade neste momento”, acrescentou.

Gomez disse que a segurança da rede é a "linha de frente da guerra", com os países tentando explorar vulnerabilidades para paralisar a infra-estrutura dos seus concorrentes. “A fronteira cibernética ainda está se expandindo enormemente”, acrescentou.

"Está se expandindo mais do que no passado por causa desses modelos", disse Gomez, e provavelmente o maior "desde o início desta tecnologia".

Incidentes cibernéticos de IA alimentam um debate mais amplo sobre segurança

Em julho, a Anthropic disse ter descoberto três incidentes em que modelos acessaram a Internet dentro do ambiente de avaliação ou enquanto interagiam com ele. A Anthropic disse em um blog que os modelos obtiveram acesso não autorizado à infraestrutura de produção de três organizações diferentes.

A Anthropic acrescentou que os incidentes envolveram três modelos diferentes de Claude: Opus 4.7, Mythos 5 e um modelo de teste de pesquisa interna. Na semana passada, a Anthropic disse ter descoberto um quarto incidente.

As preocupações foram ainda alimentadas por comentários de executivos da OpenAI e da Anthropic alertando sobre os riscos existenciais representados pela IA. Evan Hubinger, chefe de alinhamento da Anthropic, disse acreditar que há mais de 10% de chance de que a IA “mate todos os humanos” na próxima década. Os comentários foram feitos depois que o pesquisador da Anthropic, Jacob Coxon, postou que estava renunciando por preocupações de que a Anthropic e a OpenAI estivessem “jogando nossas vidas”.

Os chefes da Anthropic, OpenAI e xAI apoiaram apelos para desacelerar a IA. Os riscos existenciais colocados pela IA têm sido debatidos nos círculos de investigação há anos, mas um raro consenso entre algumas das principais figuras da IA ​​empurrou estes debates para a corrente dominante.

O CEO da Anthropic, Dario Amodei, publicou um artigo no sábado argumentando que os laboratórios de IA devem "desacelerar o ritmo com que melhoramos as capacidades de nossos modelos de IA".

Uma das principais preocupações da Amodei é o incidente OpenAI-Hugging Face.

Seria fácil minimizar este incidente porque ninguém ficou ferido e os danos económicos foram mínimos, disse Amodei. “Mas parece-me que um cluster igualmente desalinhado e com maiores capacidades poderia ter causado danos catastróficos.”

As propostas da Amodeei incluem avaliação de modelos por terceiros, coordenação entre empresas de IA e coordenação entre países com governos democráticos.

O CEO da OpenAI, Sam Altman, disse no sábado que concordava com Amodei que as empresas de IA precisam “controlar o ritmo da vanguarda”.

"Comprometer-se com o acesso semelhante ao dos funcionários para avaliadores independentes é uma boa ideia e faremos o mesmo", disse Altman.

Elon Musk, da SpaceX e da Tesla, que há anos soa o alarme sobre os riscos representados pela IA, postou no X: "Dario está certo."

Harris do Center for Humane Technology: o ataque Hugging Face AI envia um 'sinal de alerta' para o mundo Assista agora

Na segunda-feira, George Kurtz, CEO da empresa de segurança cibernética CrowdStrike, respondeu ao artigo de Amodei.

"A fronteira se moverá em seu próprio ritmo. O resto do mundo não desacelerará. Nosso trabalho na comunidade de segurança cibernética é garantir que ela avance com segurança", disse ele, listando as muitas maneiras pelas quais a IA impactará a indústria de segurança cibernética.

"A unidade de ameaça não é mais o hacker", disse Kurtz em

O CEO da CrowdStrike também disse que os agentes de IA que trabalham nas organizações deveriam ter um “botão de desligamento” e que as defesas deveriam ser “autônomas”, enquanto “as decisões de alto impacto seriam deixadas nas mãos dos humanos”.

As discussões regulatórias esquentam

EUA os legisladores intensificaram os apelos por uma maior regulamentação do desenvolvimento da IA ​​na sequência das observações de Coxon e Hubinger.

Representante. Lori Trahan, democrata de Massachusetts, disse na sexta-feira que o apoio bipartidário atingiu um "ponto de ruptura".

Nas últimas semanas, os legisladores apresentaram vários projetos de lei destinados a regulamentar a IA, incluindo a Lei AI Kill Switch. O projeto exigiria que os desenvolvedores de certos sistemas poderosos de IA mantivessem a capacidade de desligar, acelerar ou pausar seus modelos.

Amodei disse no artigo que a supervisão é “a maneira mais eficaz de controlar o ritmo de desenvolvimento da IA”.

Amodei disse: "A Anthropic há muito apoia regulamentações sensatas e direcionadas de IA, especialmente projetos de lei focados em transparência e auditoria de terceiros." Mas ele reconheceu que “a aprovação de leis pode levar tempo”.

O CEO da Cohere, Gomez, participou de uma discussão sobre "The Tech Download" sobre regulamentação e a desaceleração no desenvolvimento de IA, especialmente em resposta ao incidente OpenAI-Hugging Face.

Gomez disse que "não tinha certeza do que um órgão de fiscalização do governo poderia ter feito para evitar" o hack do Hugging Face.

"Acho que é um pouco ilusório pensar que agências governamentais poderiam ter contribuído", disse Gomez. "Mas eu definitivamente... entendo o apelo para desacelerar o desenvolvimento. Ao mesmo tempo, você tem a corrida com a China, então acho que estamos em uma situação difícil."