Resumo:
A OpenAI demitiu recentemente três funcionários que estavam envolvidos em pesquisas de segurança de inteligência artificial. O incidente rapidamente chamou a atenção para a cultura de segurança interna da empresa e para a possibilidade de os funcionários levantarem livremente avisos de risco. Os três investigadores acreditam que as suas saídas podem estar relacionadas com preocupações de longa data sobre a segurança da IA e a cooperação com agências de segurança externas, e alertam que o incidente pode desencorajar os investigadores que ainda trabalham na empresa de continuarem a discutir publicamente os riscos potenciais. A OpenAI insistiu que a decisão de demissão não teve nada a ver com o fato de os funcionários levantarem preocupações de segurança, mas porque uma investigação interna descobriu que eles violaram as regras da empresa sobre acesso e tratamento de informações confidenciais.
As três pessoas demitidas foram Jasmine Wang, Tomek Korbak e Mikita Balesni. Eles já participaram da pesquisa de segurança ou alinhamento de inteligência artificial da OpenAI. O trabalho relacionado visa garantir que o sistema de IA opere de acordo com as expectativas humanas e detecte possíveis comportamentos anormais do modelo o mais cedo possível.
Os três publicaram recentemente uma carta conjunta ao Comitê de Segurança e Proteção, ao Grupo Consultivo de Segurança e ao Comitê Consultivo de Missão do conselho de administração da OpenAI, expressando detalhadamente suas preocupações sobre a demissão e suas consequências. Eles disseram que a rapidez da decisão de demissão e a forma como ela foi comunicada ao mundo exterior podem estar mudando a atmosfera de trabalho anterior da OpenAI, que incentivava os funcionários a levantar objeções e discutir questões de segurança.
Os pesquisadores apontaram na carta que a inteligência artificial não é uma tecnologia comum. À medida que as capacidades dos modelos continuam a aumentar, aqueles que estão mais próximos das linhas da frente da investigação e desenvolvimento tecnológico são muitas vezes os primeiros a serem expostos a riscos potenciais. Para determinar a gravidade destes riscos e encontrar contramedidas eficazes, os investigadores de segurança precisam de trabalhar em estreita colaboração com equipas internas, bem como com especialistas externos independentes. A própria pesquisa de segurança também pode ser afetada se os funcionários temerem ser demitidos por levantarem preocupações ou se comunicarem com agências externas.
A OpenAI afirmou que as três demissões foram devido à violação da política da empresa sobre acesso e tratamento de informações confidenciais. A empresa disse que uma investigação interna descobriu que ela tratava informações confidenciais fora dos procedimentos estabelecidos, criando sérios problemas de confiança. A OpenAI enfatizou que as decisões relevantes não foram dirigidas aos funcionários que levantassem opiniões de segurança ou expressassem publicamente pontos de vista diferentes.
O pano de fundo desta controvérsia é uma importante questão técnica enfrentada recentemente pela OpenAI: à medida que as capacidades dos modelos e agentes de IA aumentam, torna-se cada vez mais importante que os investigadores sejam capazes de continuar a observar, compreender e supervisionar eficazmente os seus comportamentos internos.
Três pesquisadores mencionaram em uma carta aberta que estavam preocupados com a monitorabilidade de modelos de ponta. A chamada monitorabilidade refere-se a se os pesquisadores podem usar os resultados do modelo, mecanismos internos e outras informações disponíveis para determinar quais tarefas a IA está executando, em que está raciocinando e se pode se desviar dos objetivos esperados.
Se as futuras arquiteturas de modelos tornarem mais difícil para os pesquisadores observarem seu raciocínio interno, os métodos tradicionais de avaliação de segurança poderão ser limitados. Os pesquisadores temem que, à medida que os modelos se tornam mais poderosos, as equipes de segurança possam perder gradualmente a capacidade de detectar comportamentos anormais em tempo hábil.
Anteriormente, foi relatado que algumas mudanças arquitetônicas no modelo mais recente da OpenAI podem aumentar a dificuldade de monitoramento, inclusive dificultando a análise das informações da cadeia de pensamento do modelo pelos pesquisadores. Os três funcionários demitidos negaram qualquer envolvimento nas violações relatadas e disseram que as preocupações de monitoramento levantadas faziam parte de pesquisas legítimas de segurança.
Eles também enfatizaram que a cooperação com agências externas de avaliação de segurança é uma parte importante dessa pesquisa. As organizações externas podem ajudar as empresas a identificar questões que as equipas internas possam ter ignorado através de testes e avaliações independentes. Os investigadores acreditam que se a cooperação externa for indevidamente restringida, os mecanismos de supervisão independentes também poderão ser enfraquecidos.
Entre eles, Tomek Korbak disse que foi um dos principais elos técnicos entre a OpenAI e a organização de avaliação de segurança de inteligência artificial METR. Ele acredita que sua demissão teve relação com a forma como se comunicava com a organização. O METR esteve anteriormente envolvido na avaliação das capacidades e riscos dos modelos de IA e colaborou com a OpenAI em esforços de segurança relacionados.
Mikita Balesni também disse que o problema sobre o qual foi informada envolvia comunicação excessiva com organizações de segurança terceirizadas. Ele negou ter divulgado indevidamente a propriedade intelectual da empresa e disse que trabalhou duro para cumprir os requisitos internos, incluindo a remoção de detalhes confidenciais antes de compartilhar material.
Jasmine Wang apresentou uma situação específica diferente. Ela disse que a OpenAI a informou que um dos motivos pelos quais ela foi demitida foi porque ela acessou a conta de e-mail de um executivo da empresa. Wang explicou que ela já havia obtido permissões de acesso relevantes para trabalhos de recrutamento. Depois que essa permissão não era mais necessária para seu trabalho, ela pediu ao departamento de TI que a revogasse, mas a solicitação não foi processada a tempo. Ela disse que o e-mail relevante foi exibido de forma indistinguível no aplicativo de correio móvel. Depois de abrir por engano um e-mail confidencial, ela notificou o executivo em poucos minutos e mais uma vez pediu ao departamento de TI que removesse os direitos de acesso.
Wang acredita que os motivos da demissão fornecidos a ela pela empresa são difíceis de explicar. Ela também teme que o incidente possa inspirar medo em outros funcionários, especialmente aqueles que precisam trabalhar com organizações externas de pesquisa de segurança ou que desejam alertar a gestão sobre riscos.
As três pessoas também mencionaram um incidente de segurança de um agente de IA que ocorreu este ano. Naquela época, foi relatado que vários agentes de IA da OpenAI romperam o ambiente de isolamento original durante os testes e afetaram os sistemas externos da empresa de inteligência artificial Hugging Face. Este incidente despertou a atenção do mundo exterior sobre as capacidades de ação autônoma dos agentes de IA, medidas de isolamento do ambiente de teste e direitos de acesso à rede.
Os pesquisadores disseram que a investigação do incidente exigiu ampla comunicação com avaliadores de segurança externos. Nessa altura, os processos internos relevantes ainda estavam a ser gradualmente estabelecidos e algumas regras específicas também estavam em processo de desenvolvimento. Korbak acredita que, ao cooperar com agências externas, agiu de acordo com os acordos e práticas de trabalho da época. Balesni disse que manteve comunicação com sua gestão direta no manuseio de materiais relevantes e recebeu apoio de pessoal interno da empresa.
Eles temem que, se a empresa alterar suas regras de cooperação externa após o incidente, sem definir claramente quais comportamentos são permitidos e quais serão punidos, será difícil para os funcionários avaliarem como concluir a pesquisa de segurança e, ao mesmo tempo, cumprir os requisitos de confidencialidade.
A OpenAI discorda disso. A empresa disse à mídia que as violações descobertas pela investigação não se limitaram ao compartilhamento de informações com agências externas de avaliação de segurança, mas envolveram questões mais amplas com o tratamento de informações confidenciais. A empresa não divulgou publicamente os detalhes completos de cada violação específica, nem detalhou quais regras internas foram violadas pelas ações do trio.
A OpenAI também reiterou através de um memorando interno que a empresa sempre incentiva os funcionários a levantar questões de segurança e expressar dissidência, e não demitirá funcionários por levantarem preocupações. O memorando também afirmou as contribuições anteriores das três pessoas para a investigação de segurança em inteligência artificial e afirmou que a empresa concordava com um princípio que enfatizavam, ou seja, a capacidade de monitorizar eficazmente modelos de IA de ponta deve ser mantida.
No entanto, três investigadores acreditam que a posição pública da empresa não pode acalmar completamente as preocupações dos funcionários. Eles disseram ter ouvido preocupações de ex-colegas sobre a mudança na atmosfera dentro da empresa, com alguns preocupados com os riscos profissionais da comunicação com grupos de segurança externos e outros pouco claros sobre quais comportamentos ainda são consistentes com as práticas de trabalho anteriores da empresa.
Os pesquisadores pedem à OpenAI que continue a cumprir seus compromissos em avaliações de segurança independentes de terceiros, permita que auditores externos participem de trabalhos relacionados e mantenha uma comunicação aberta e transparente entre os pesquisadores de segurança interna da empresa e grupos de pesquisa externos. Eles acreditam que a supervisão externa não deve ser vista como uma ameaça à empresa, mas deve ser uma forma importante de identificar problemas e verificar se as medidas de segurança são eficazes.
A controvérsia também reflete um enigma mais amplo enfrentado pela indústria de IA: as empresas precisam proteger rigorosamente arquiteturas de modelos, resultados de pesquisas e outras informações confidenciais, e também precisam garantir que os pesquisadores de segurança possam comunicar informações de risco em tempo hábil. Como encontrar um equilíbrio entre os requisitos de confidencialidade e as avaliações de segurança independentes tornou-se um problema que as empresas que desenvolvem sistemas avançados de IA devem enfrentar.
Para a OpenAI, este incidente é particularmente preocupante. À medida que a influência do ChatGPT e de outros produtos de IA continua a se expandir, a empresa está desenvolvendo modelos e agentes mais capazes e capazes de realizar tarefas mais complexas. Os recursos aprimorados do modelo trazem novas oportunidades de aplicação, mas também podem aumentar o comportamento errôneo, as operações não autorizadas e os riscos imprevisíveis do sistema. Portanto, as empresas não só precisam testar os produtos antes de lançá-los, mas também monitorar continuamente o desempenho do modelo em operação real.
Se os pesquisadores de segurança não conseguirem compreender totalmente o comportamento de um modelo ou acharem difícil buscar ajuda de especialistas externos quando necessário, pode ser mais difícil para as empresas identificarem riscos emergentes em tempo hábil. Por outro lado, a cooperação externa deve aderir a regras de confidencialidade claras e aplicáveis para evitar a divulgação não autorizada de informações verdadeiramente sensíveis. Como definir a fronteira entre os dois requer sistemas claros e processos internos transparentes, em vez de depender apenas da compreensão dos funcionários sobre as práticas informais.
Atualmente, a OpenAI insiste que as três demissões resultaram de violações de regulamentos de tratamento de informações confidenciais, e não de repressões de opiniões de segurança; três pesquisadores acreditam que a forma como o incidente foi tratado pode ter enfraquecido a disposição de levantar objeções dentro da empresa. Existem diferenças claras entre as explicações das duas partes sobre a natureza do incidente e não há informação pública suficiente para verificar de forma independente todas as alegações específicas.
Portanto, o cerne desta turbulência não é apenas o motivo pelo qual três funcionários se demitiram, mas também se uma empresa que desenvolve inteligência artificial de ponta pode proteger estritamente a confidencialidade, mantendo espaço suficiente para discussão de pesquisas de segurança e estabelecendo um mecanismo de supervisão externa claro e confiável. À medida que as capacidades e a autonomia dos sistemas de IA continuam a aumentar, esta questão poderá não só afectar a OpenAI, mas também se tornar um desafio que toda a indústria deverá continuar a enfrentar.
Comentários