OpenAI implanta "sala de controle" de IA: bloqueando a saída do modelo por até 35 segundos

Resumo:

A OpenAI anunciou recentemente que implantou um sistema de controle central denominado "Sala de Controle" em sua infraestrutura interna de pesquisa. Quando a tarefa do modelo causa riscos de segurança ou de rede,

o sistema pode impedir que o modelo continue a produzir por até 35 segundos após receber o comando de parada

De acordo com a OpenAI, a Control Room pode rastrear uniformemente tarefas de pesquisa, como treinamento de aprendizado por reforço, avaliação de modelos, amostragem de agentes e processamento de dados, e está vinculada ao sistema de monitoramento de comportamento do modelo.

O modelo de monitoramento verificará o raciocínio e o processo de operação do modelo treinado. Uma vez descobertos possíveis problemas, um alarme pode ser emitido ou a tarefa pode ser suspensa diretamente de acordo com o grau de risco

Durante o processo de execução específico, o sistema de monitoramento enviará o ID da tarefa que precisa ser interrompida para a Sala de Controle. Na próxima vez que a tarefa relevante for aplicada à inferência do modelo, o mecanismo de inferência verificará sua permissão de execução; se a tarefa tiver sido marcada como encerrada, o sistema rejeitará a solicitação para evitar que o modelo continue a gerar conteúdo.

A OpenAI afirmou que

Atualmente, leva até 35 segundos a partir do momento em que a Control Room recebe o comando de parada até que a tarefa não possa continuar em execução.

O sistema também usa um mecanismo de "fechamento com falha". Se a Control Room falhar, for desligada ou for adulterada, todas as solicitações de inferência relacionadas serão negadas por padrão até que o serviço seja restaurado. Este mecanismo cobre agora todas as tarefas de investigação de modelos de ponta da OpenAI e está a ser expandido para outras tarefas de investigação. A OpenAI disse que seus serviços de modelo externo adotam uma arquitetura técnica mais centralizada e atualmente possuem recursos correspondentes de implantação off-line e de resposta a emergências.