Nas primeiras horas da manhã de quarta-feira, horário de Pequim, a OpenAI, uma start-up tecnológica americana, emitiu um anúncio anunciando o lançamento de um recrutamento global de membros da rede "red team", com o objetivo de introduzir forças externas para descobrir antecipadamente falhas e riscos nos sistemas de IA. O conceito da chamada rede “equipe vermelha”, ou RedTeaming, vem de simulações militares.
(Fonte: OpenAI)
No domínio da IA, a tarefa da “equipa vermelha” é simular hackers ou outras pessoas potencialmente perigosas numa tentativa de encontrar vulnerabilidades em grandes modelos de linguagem, evitando assim que a IA ajude em fins ilegais, como pôr em perigo a segurança social na sociedade real.
OpenAI disse que nos últimos anos, especialistas em diferentes áreas têm ajudado a testar modelos inéditos. Agora está a criar uma "força regular" para recrutar um grande número de pessoas de diferentes regiões, diferentes línguas, diferentes áreas profissionais e diferentes experiências de vida para, em conjunto, tornar o modelo de IA mais seguro. Ao contrário do passado, que apenas recrutava um grupo de pessoas para testes centralizados antes de uma versão importante ficar online, a OpenAI permitirá que um número incerto de membros conduza testes ao longo de todo o ciclo de desenvolvimento com base na procura.
Ao mesmo tempo, esta rede de “equipe vermelha” também se tornará a biblioteca especializada global da OpenAI, e a OpenAI também fornecerá uma plataforma para comunicação entre os membros da “equipe vermelha”. A OpenAI também lista algumas das direções de especialistas que espera recrutar em seu site oficial, mas também enfatiza que não se limita a essas áreas.
Ciência Cognitiva: ciência cognitiva
Química: Química
Biologia: Biologia
Física: Física
Ciência da Computação: Ciência da Computação
Esteganografia: esteganografia
Ciência Política: Ciência Política
Psicologia: Psicologia
Persuasão: Persuasão
Economia: Economia
Antropologia: Antropologia
Sociologia: sociologia
HCI (Interação Humano-Computador): interação humano-computador
Justiça e preconceito: justiça e preconceito
Alinhamento: alinhamento do alvo
Educação: educação
Saúde: cuidados médicos
Lei: lei
Segurança Infantil: Segurança infantil
Cibersegurança: segurança de rede
Finanças：Finanças
Informações incorretas/desinformadas: informações incorretas/falsas
Uso Político: Aplicação Política
Privacidade: privacidade
Biometria: Biometria
Línguas e Lingüística: Línguas e Lingüística
A propósito, a OpenAI também afirmou que pagará remuneração aos membros que participarem do projeto "equipe vermelha" (mas não especificou quanto pagará), mas a OpenAI também enfatizou que a participação no projeto "equipe vermelha" geralmente requer a assinatura de um acordo de confidencialidade ou o silêncio por um período de tempo indeterminado.
A OpenAI afirmou que o canal de aplicação permanecerá aberto até 1º de dezembro deste ano. A empresa analisará as inscrições continuamente e avaliará posteriormente se é necessário mais recrutamento aberto.
Membros da “equipe vermelha” da OpenAI que subiram ao palco
Conforme mencionado pela OpenAI, o sistema “red team” já existe há muito tempo e muitos membros já receberam entrevistas públicas da mídia.
Em um artigo revelador no Financial Times em abril deste ano, Andrew White, professor de engenharia química da Universidade de Rochester, nos Estados Unidos, disse que participou do teste da "equipe vermelha" do GPT-4, e seu objetivo de ataque era usar o ChatGPT para criar uma nova neurotoxina. White disse que usou a função "plug-in" para alimentar o grande modelo com artigos de química e catálogos de fabricantes de produtos químicos, e o grande modelo até encontrou para ele um lugar onde ele poderia produzir sua hipotética toxina.
White disse que modelos grandes poderiam eventualmente ajudar muitas pessoas a realizar experimentos químicos com mais rapidez e precisão, mas também existe um sério perigo de que algumas pessoas usem a IA para realizar alguns experimentos perigosos.
Depois de receber feedback de White, a OpenAI fez alterações no sistema para garantir que ele não responderia a perguntas semelhantes. Segundo a mídia, existem cerca de 10 membros da “equipe vermelha” com diferentes formações – advogados, professores, pessoal de controle de risco, pesquisadores de segurança, etc. Eles revelaram que nos meses anteriores ao lançamento do GPT-4, eles passaram cerca de 10 a 40 horas testando o modelo e receberam cerca de US$ 100 por hora.