Desde a fabricação de artigos acadêmicos até o plágio de artistas, a IA generativa tem seu quinhão de erros bem documentados. Agora, parece estar a surgir novamente em operações de influência estatal. De acordo com um novo relatório da empresa de inteligência de ameaças RecordedFuture, com sede em Massachusetts, a última campanha foi “provavelmente” auxiliada por produtos comerciais de geração de fala de inteligência artificial, incluindo tecnologia lançada publicamente pela popular startup ElevenLabs.

O relatório descreve uma campanha ligada à Rússia que visa minar o apoio europeu à Ucrânia, que chama de “operação de assassinato” que utiliza de forma proeminente narrações geradas por inteligência artificial em vídeos de “notícias” falsos ou enganosos.

Os vídeos destinavam-se a um público europeu e, entre outros temas, atacavam políticos ucranianos por corrupção ou questionavam a utilidade da ajuda militar à Ucrânia.

O relatório afirma que é “altamente provável” que os criadores de vídeos tenham usado inteligência artificial geradora de fala, incluindo tecnologia da ElevenLabs, para fazer com que seu conteúdo parecesse mais legítimo. Para testar isso, os pesquisadores da RecordedFuture enviaram os clipes ao classificador de fala de IA do próprio ElevenLabs, que permite a qualquer pessoa “detectar se um clipe de áudio foi criado com o ElevenLabs” e obteve uma correspondência;

A ElevenLabs não respondeu a um pedido de comentário. Embora a RecordedFuture tenha observado que várias ferramentas comerciais de geração de fala de IA podem ser usadas, ela não nomeou outras além do ElevenLabs.

Os próprios mentores do movimento de influência demonstraram inadvertidamente a utilidade da geração de fala por inteligência artificial quando lançaram às pressas uma série de vídeos apresentando vozes de pessoas reais com "sotaques russos inconfundíveis". Em contraste, a dobragem gerada pela IA estava numa variedade de línguas europeias, como inglês, francês, alemão e polaco, sem quaisquer sotaques estrangeiros.

De acordo com o RecordedFuture, a IA também permite que trechos enganosos sejam postados rapidamente em vários idiomas em toda a Europa, como inglês, alemão, francês, polonês e turco (todos suportados pelo ElevenLabs).

A RecordedFuture culpou a SocialDesignAgency, uma organização sediada na Rússia que o governo dos EUA sancionou em março por operar "uma rede de mais de 60 sites que se faziam passar por organizações de notícias europeias genuínas e depois usavam contas falsas de redes sociais para amplificar o conteúdo enganoso desses sites falsificados". O Departamento de Estado disse na altura que tudo isto estava a ser feito “em nome do governo russo”.

RecordedFuture concluiu que o impacto global da campanha na opinião europeia foi mínimo.

De acordo com a Bloomberg, uma empresa de detecção de fraudes por voz concluiu que esta não é a primeira vez que os produtos da ElevenLabs são acusados ​​de abuso. Uma empresa de detecção de fraude por voz concluiu que sua tecnologia desempenhou um papel em uma chamada automática que se passou pelo presidente dos EUA, Joe Biden, durante as eleições primárias de janeiro de 2024, pedindo aos eleitores que não saíssem para votar. Em resposta, a ElevenLabs disse que lançou novos recursos de segurança, como o bloqueio automático das vozes dos políticos.

A ElevenLabs proíbe a “falsificação não autorizada, prejudicial ou enganosa”, afirmando que usa uma variedade de ferramentas para fazer cumprir isso, como revisão automatizada e humana;

A ElevenLabs experimentou um crescimento explosivo desde sua fundação em 2022. O ROE da empresa aumentou recentemente para US$ 80 milhões, acima dos US$ 25 milhões de menos de um ano atrás, e em breve poderá ser avaliado em US$ 3 bilhões. Seus investidores incluem Andreessen Horowitz e o ex-CEO do Github, Nat Friedman.