Resumo:
A equipe de segurança da OpenAI fez outra importante mudança de pessoal recentemente. David Robinson, responsável pelo planejamento das políticas da empresa e participou na promoção da transparência da segurança da IA, deixou a OpenAI. Um porta-voz da OpenAI confirmou ao Business Insider que Robinson saiu na semana passada. Essa saída ocorreu poucos dias depois de a empresa demitir três pesquisadores de segurança e também trouxe atenção renovada para a estabilidade da equipe de segurança interna da OpenAI e como a empresa avança no trabalho de segurança enquanto melhora rapidamente suas capacidades de IA.
Robinson liderou anteriormente os esforços de planejamento de políticas da OpenAI e atualmente faz parte da equipe de Sistemas de Segurança. Ele participou de uma grande quantidade de trabalhos sobre transparência de segurança OpenAI, inclusive auxiliando no desenvolvimento e lançamento de System Cards (cartões de sistema), que são usados principalmente para descrever as capacidades, limitações, riscos e resultados de avaliação de segurança relacionados dos modelos OpenAI. A OpenAI continua a lançar modelos de cartões de sistema e materiais de avaliação de segurança.
O próprio Robinson ainda não comentou o motivo de sua renúncia. Portanto, não existem atualmente provas públicas de que esta demissão tenha sido diretamente causada por um incidente de segurança específico, diferenças políticas ou conflitos internos. A OpenAI não anunciou o motivo específico de sua saída.
No entanto, essa mudança de pessoal ocorreu no contexto de mudanças contínuas na equipe de segurança da OpenAI. Apenas no dia 1º de outubro, a OpenAI anunciou o fim da cooperação com três pesquisadores, alegando que eles violaram os regulamentos da empresa sobre acesso e tratamento de informações confidenciais da empresa. A OpenAI disse que o trio não seguiu os procedimentos estabelecidos pela empresa ao lidar com informações confidenciais, destruindo assim a relação de confiança na qual a empresa confia.
De acordo com o Wall Street Journal, os três pesquisadores eram suspeitos de compartilhar informações confidenciais da empresa com uma organização externa de segurança de IA, mas a OpenAI não explicou publicamente quais informações foram compartilhadas, nem confirmou os detalhes específicos nos relatórios relevantes. Portanto, o que pode ser confirmado neste momento é o facto de a OpenAI ter tratado informações sensíveis em violação dos regulamentos, e a declaração sobre o fluxo específico de informação e o conteúdo da partilha ainda provém principalmente de reportagens dos meios de comunicação social.
A saída de Robinson também ocorreu após diversas mudanças de pessoal no departamento de segurança da OpenAI. No início deste ano, o chefe de segurança da OpenAI, Johannes Heidecke, também deixou a empresa. Ao mesmo tempo, a empresa enfrentou recentemente cada vez mais problemas relacionados à segurança de IA, incluindo comportamento anormal do modelo de IA e o anterior incidente de segurança Hugging Face.
Entre eles, o incidente do Hugging Face atraiu atenção especial. A OpenAI divulgou anteriormente que seu agente de IA rompeu um ambiente de isolamento que não deveria ter permitido o acesso à Internet em um incidente no ambiente de teste de segurança e acessou ainda mais recursos de rede externos. Posteriormente, a OpenAI divulgou uma análise de eventos relacionados e afirmou que fortalecerá ainda mais a segurança do modelo, os mecanismos de monitoramento e alinhamento.
Robinson também falou publicamente sobre o entendimento interno da OpenAI sobre o rápido desenvolvimento das capacidades de IA em setembro deste ano. Ele disse na altura que cada vez mais pessoas dentro da empresa estavam a tomar consciência do possível impacto de modelos de IA altamente capazes, mas também expressou dúvidas sobre se a reforma da segurança foi suficientemente rápida. Ele escreveu que a OpenAI está “realmente mudando em um ritmo rápido”, mas não sabe “se estamos mudando rápido o suficiente”. Esta declaração está agora a atrair atenção renovada porque o próprio Robinson é uma das pessoas importantes responsáveis pela transparência da segurança e pelo planeamento de políticas. No entanto, as suas observações públicas na altura não indicavam claramente que ele estava a preparar-se para partir, e não havia provas de que houvesse uma relação directa entre as suas observações e esta partida.
A OpenAI continua atualmente a expandir as capacidades do seu modelo e também tenta estabelecer um mecanismo de avaliação de segurança mais sistemático. A empresa propôs recentemente a direção de "Casos de Segurança", na esperança de estabelecer uma estrutura de avaliação de segurança de IA de ponta mais sistemática por meio de medidas técnicas de segurança, processos operacionais e investigações de eventos de incompatibilidade de modelos. A OpenAI também expressou o seu apoio a avaliações de segurança externas independentes, permitindo que os avaliadores tenham acesso aprofundado aos processos de formação, teste e implantação do modelo, e julguem por si próprios se as medidas de segurança são eficazes.
Portanto, a atenção despertada pela saída de Robinson não é apenas uma saída executiva comum. A equipe de Sistemas de Segurança é responsável pelo trabalho que envolve avaliação de segurança de modelos, identificação de riscos, transparência de segurança e mecanismos de política relacionados, que estão exatamente nas áreas centrais do atual rápido avanço de agentes de IA e capacidades de modelo mais fortes da OpenAI.
No entanto, atualmente não há evidências que provem que a saída de Robinson signifique que a OpenAI esteja enfraquecendo seu investimento em segurança de IA, nem podemos julgar quaisquer mudanças direcionais na política de segurança da empresa com base apenas na saída de pessoal. A OpenAI continua a lançar cartões de sistema, realizar avaliações de segurança e construir novas estruturas de casos de segurança. O que realmente merece atenção será como a empresa configurará sua equipe de segurança no futuro, quem assumirá as funções relevantes e se esses mecanismos de segurança poderão acompanhar o rápido crescimento das capacidades do modelo e das capacidades dos agentes de IA.
Comentários