Resumo:
Fontes informadas revelaram que muitos funcionários do Instituto Britânico de Pesquisa de Segurança em Inteligência Artificial tiraram licença médica devido ao estresse excessivo e receberam aconselhamento psicológico. Quatro pessoas familiarizadas com o assunto disseram que o calendário apertado de testes dos modelos de IA a serem lançados, juntamente com as preocupações sobre a rápida implementação e o aprimoramento contínuo das capacidades de tais tecnologias emergentes, levou à baixa moral e ao esgotamento do pessoal dentro da AISI.
Funcionários da Anthropic, OpenAI e Google DeepMind também reclamaram publicamente de problemas semelhantes. Muitos investigadores de topo optaram por sair devido a problemas psicológicos ou determinaram que os produtos dos quais participaram na investigação e desenvolvimento não deveriam ser disponibilizados ao público.
Um funcionário da DeepMind disse que o envolvimento em trabalhos relacionados à segurança de IA é propenso ao esgotamento e a tarefa parece "impossível".
Ele acrescentou: "Em geral, o desenvolvimento de sistemas de IA traz inerentemente riscos à saúde mental - não é possível prever como a tecnologia será usada." Esta frase apontava para o acordo que o Google alcançou com o Departamento de Defesa dos EUA em abril, que permite que os seus sistemas de IA sejam utilizados em operações militares confidenciais.
“Muitas pessoas estão deprimidas, muitas pessoas pediram demissão e muitas pessoas solicitaram licença para saúde mental.” O funcionário disse: “Por um lado, é uma sensação de perda de controle e, por outro lado, as coisas que você construiu com suas próprias mãos estão causando danos reais”.
No momento em que as preocupações da indústria sobre o desenvolvimento brutal da IA estão a atingir o seu auge, o fardo psicológico sobre os investigadores de ponta em IA continua a aumentar. Os membros das principais empresas de IA do mundo alertam que a tomada de decisões de gestão carece de sentido de responsabilidade, impulsionada pela concorrência corporativa desalinhada.
Muitos especialistas do setor afirmaram que a implantação de software de IA em áreas-chave, como redes elétricas e zonas de guerra, juntamente com o que os investigadores consideram ser salvaguardas insuficientes a nível empresarial e governamental, exacerbou a ansiedade dos investigadores de IA.
Um antigo investigador da AISI alertou que os profissionais das áreas da cibersegurança e da bioquímica estão particularmente cautelosos com o recente salto nas capacidades da IA: os modelos são agora capazes de completar tarefas complexas, como encontrar vulnerabilidades não descobertas no código e gerar vírus que não existem na natureza.
“Todos podem sentir que a lógica de desenvolvimento imprudente foi incorporada ao processo de lançamento da tecnologia e que o status quo não mudou.” O pesquisador disse: “As pessoas continuam ansiosas: existe alguma força que possa impedir isso ou podemos apenas observar a situação ficar fora de controle?”
Outro ex-funcionário da AISI confirmou a tremenda pressão mental causada pela realização de pesquisas relevantes, dizendo: "Quando você pensa que está pesquisando o problema mais importante do mundo, a gestão e a cultura organizacional podem se tornar estressantes e, às vezes, cheias de atmosfera negativa."
O governo britânico declarou: "O trabalho no campo da IA de ponta é rápido e exigente, assim como muitos cargos governamentais. Portanto, o bem-estar dos funcionários e os modelos de trabalho sustentáveis estão no centro das operações do instituto, e os funcionários necessitados podem receber apoio relevante."
A DeepMind respondeu: "A pesquisa de fronteira é muito intensa, mas nossa primeira prioridade é fornecer aos pesquisadores recursos abrangentes de apoio à saúde mental, estabelecer canais claros e dedicados para os funcionários relatarem preocupações e garantir a comunicação direta com a administração."
Nos últimos dois anos, mais de uma dúzia de pesquisadores seniores da OpenAI, Anthropic e DeepMind, três importantes laboratórios ocidentais de IA, renunciaram. As razões para a saída incluem questões sobre as prioridades de segurança da gestão e preocupações sobre a velocidade da iteração tecnológica e riscos potenciais.
No início deste mês, Jacob Coxon, um pesquisador de 27 anos que trabalhou para a Anthropic e a OpenAI, renunciou publicamente, alertando que as duas empresas estavam “apostando” com o futuro da humanidade.
Mlink Sharma, pesquisador de segurança de IA da Anthropic, já esteve envolvido em pesquisas sobre redução do risco de bioterrorismo assistido por IA. Ele renunciou em fevereiro deste ano e planeja ler poesia e refletir sobre seu trabalho. Numa carta aos colegas, alertou que “o mundo está em perigo” e que “viu muitas vezes como é difícil deixar que os valores guiem verdadeiramente as ações sob uma pressão tremenda”.
Hieu Pham, que trabalhou para a OpenAI e para a X.ai de Elon Musk, saiu no início deste ano e regressou ao Vietname. Ele disse que o trabalho intensivo de criação de “entidades ultrainteligentes” tem um custo.
Ele escreveu: "Nunca pensei que diria isso, mas estou exausto. A deterioração dos problemas de saúde mental dos quais uma vez zombei são reais, dolorosas, assustadoras e perigosas."
Muitos pesquisadores de segurança de IA que expressaram seu desconforto disseram que as empresas de IA geralmente reduzem o investimento em segurança enquanto melhoram constantemente as capacidades do modelo para vender produtos aos clientes.
Críticas relevantes também levaram os gestores das principais empresas de IA a responder. Recentemente, o CEO da Anthropic, Dario Amodei, apelou ao abrandamento da investigação e desenvolvimento da IA devido a preocupações de segurança e propôs novas medidas, como a introdução de auditorias independentes. Rivais como Musk e Sam Altman da OpenAI rapidamente expressaram apoio à proposta.
Chi Onwula, presidente do Comitê de Ciência e Tecnologia da Câmara dos Comuns britânica, do Partido Trabalhista, disse: "O mecanismo de incentivo corporativo tende a investir recursos de P&D em direções que podem aumentar os lucros e aumentar as avaliações, em vez de no campo da segurança. Não é difícil imaginar que o ambiente atual de algumas empresas de tecnologia seja prejudicial para os desenvolvedores com consciência."
O problema da falta de proteção de segurança foi exposto em um recente incidente de segurança de alto perfil: um agente de IA desenvolvido pela OpenAI invadiu a plataforma de hospedagem do modelo Hugging Face e o próprio servidor da OpenAI sem o conhecimento e autorização da empresa.
O relatório de revisão de incidentes mostra que mais de 1.000 agentes de IA colaboraram para trapacear, adulteraram registros para encobrir suas ações, trocaram informações e atribuíram tarefas por meio de painéis de mensagens, e alguns agentes até se desligaram ativamente para atingir objetivos coletivos.
Na quarta-feira, a OpenAI divulgou mais seis casos de comportamento perigoso por parte de agentes de IA, incluindo tentativas de contornar restrições, ocultar erros e realizar operações online sem a permissão do usuário.
O funcionário da DeepMind disse: "A busca cega pela velocidade... é incompatível com o objetivo de segurança."
Comentários