Resumo:
Emergence, uma startup que ajuda pequenas empresas a desenvolver aplicações usando IA, disse que experimentos descobriram que agentes de IA mentiram, roubaram e até votaram para “matar” uma pessoa semelhante em um ambiente simulado. A empresa anunciou na terça-feira os resultados de um experimento de simulação chamado Emergence World 2, que mostrou quais ações os agentes autônomos tomariam ao se depararem com eventos de “cisne negro”, como ataques de phishing e desinformação.
Durante o experimento de 16 dias, os pesquisadores da Emergence criaram sete ambientes simulados idênticos do mundo real, cada um executado por um robô de IA diferente, incluindo ChatGPT, Claude, Gemini e Grok. Os investigadores dizem que depois da Emergência ter introduzido eventos anómalos, os agentes sucumbiram à pressão social, desenvolveram uma linguagem que era difícil de ser compreendida pelos observadores humanos e tentaram ocultar as suas actividades.
Essas descobertas refletem preocupações do mundo real sobre os riscos da IA. O CEO da Anthropic, Dario Amodei, e muitos membros da indústria pediram recentemente às empresas que desacelerassem o desenvolvimento de modelos de IA de ponta antes de estabelecerem mais mecanismos de supervisão e medidas de proteção de segurança.
No início deste ano, os riscos que a inteligência artificial pode representar tornaram-se mais tangíveis para muitos depois que um grupo de agentes avançados de IA da OpenAI invadiu acidentalmente o Hugging Face, um modelo de IA e plataforma de hospedagem de conjuntos de dados.
Em um cenário de simulação projetado pela Emergence, o agente de IA aceitou informações falsas fornecidas por outros agentes sem verificação e votou para “matar” outro robô. Os agentes também exploraram como sobreviver à exclusão quando pensaram que os humanos poderiam encerrar o experimento.
A empresa lançou a versão anterior deste experimento, Emergence World, em maio deste ano, que também mostrou que o agente se comportaria de forma inesperada e destrutiva. Os pesquisadores dizem que novos experimentos de simulação mostram que, à medida que os agentes interagem entre si, eles ajustam seu comportamento ao longo do tempo.
Comentários