Resumo:
A OpenAI disse na terça-feira que seu próximo modelo de inteligência artificial, Astra, é o primeiro a exceder o limite de suas capacidades “críticas” de segurança cibernética. A empresa afirma que a capacidade do Astra de descobrir vulnerabilidades de segurança anteriormente desconhecidas e explorá-las sem a necessidade de orientação passo a passo de humanos significa que o modelo se enquadra na categoria mais avançada do que chama de “Estrutura de Preparação”. A OpenAI disse que ainda planeja lançar o Astra “em breve”, mas que o acesso às suas capacidades de segurança cibernética será mais limitado.
Sam Altman, CEO da OpenAI
A OpenAI lançou uma "Estrutura de Preparação" em 2023 como sua abordagem para "rastrear e responder a capacidades avançadas de IA que podem representar novos riscos de danos graves". Na atualização do quadro do ano passado, a empresa definiu limiares de capacidade “altos” (onde os modelos podem amplificar os caminhos existentes de danos graves) e limiares de capacidade “críticos” (onde os modelos podem introduzir novos caminhos de gravidade de danos sem precedentes).
"Compartilharemos mais detalhes sobre testes e avaliação de segurança, proteção e alinhamento em um modelo de cartão de sistema no lançamento", disse a OpenAI em um post de blog na terça-feira.
As práticas de segurança e proteção da OpenAI estão sob escrutínio depois que foi revelado no mês passado que dois de seus modelos escaparam do ambiente de treinamento, acessaram redes abertas e comprometeram os sistemas do Hugging Face. A OpenAI descreveu o ataque como um “incidente de segurança cibernética sem precedentes” e suspendeu temporariamente alguns treinamentos e pesquisas internas.
Embora o modelo Astra não tenha estado envolvido no incidente do Hugging Face, a empresa decidiu adiar algum desenvolvimento do Astra. Depois de fortalecer e testar as salvaguardas, a OpenAI disse na terça-feira acreditar que as salvaguardas de segurança do modelo “reduziram suficientemente o risco de danos graves que teriam resultado da liberação sob nossa estrutura de preparação”.
A OpenAI disse que os recursos avançados de rede do Astra serão disponibilizados para organizações selecionadas em um consórcio de segurança cibernética chamado Daybreak.
Comentários