Resumo:
O CEO da Anthropic, Dario Amodei, propôs uma estrutura de segurança de inteligência artificial em três estágios, defendendo o controle da velocidade de melhoria dos recursos de modelos de ponta para ganhar tempo para pesquisas de segurança e alinhamento. A Anthropic será a primeira a permitir que avaliadores terceirizados tenham acesso de longo prazo à empresa para verificar medidas de segurança, relatar incidentes e avaliar o processo de treinamento do modelo.
Anthropic apresentará uma equipe permanente de avaliação externa
Amodei propôs em um artigo intitulado "A velocidade do progresso da fronteira deve ser controlada" que as empresas de inteligência artificial de ponta deveriam fornecer às equipes independentes de avaliação terceirizadas acesso interno contínuo e próximo aos funcionários comuns. Os avaliadores verificarão se as empresas cumprem os compromissos de segurança, investigarão e reportarão incidentes e realizarão avaliações de alinhamento dos modelos e dos seus processos de formação.
A Anthropic se comprometeu a implementar unilateralmente esta medida e planeja fornecer aos avaliadores externos espaço de escritório, crachás de acesso, equipamentos da empresa e espaço de trabalho e acesso a ferramentas aproximadamente equivalentes para a equipe interna de avaliação de riscos. Exceções podem ser feitas para conteúdo que envolva restrições legais, privacidade do cliente ou segredos comerciais.
O avaliador externo terá poderes para emitir de forma independente as principais conclusões sobre riscos, incidentes e práticas de segurança da empresa. A Anthropic pode fazer redações limitadas de informações que envolvam segurança, privilégios legais e confidencialidade de terceiros, mas não pode impedir a divulgação apenas porque a conclusão é desfavorável à empresa. Os avaliadores também podem declarar publicamente se as exclusões afetaram o seu julgamento.
A estrutura de três fases requer a participação da indústria e do governo
Além de trazer avaliadores independentes, a segunda fase de medidas propostas pela Amodei exigiria que as empresas de inteligência artificial de ponta em países democráticos coordenassem o desenvolvimento de padrões de segurança comuns e limitassem a concorrência irrestrita nas capacidades dos modelos.
Alguma coordenação entre empresas pode ser restringida por leis antitruste, por isso o governo precisa fornecer apoio institucional. Amodei defendeu que depois de um número suficiente de empresas aceitarem a supervisão externa, a indústria estará em posição de desenvolver acordos de desaceleração verificáveis com base em capacidades modelo e processos de formação.
A terceira fase envolve coordenação internacional. Amodei sugeriu que os países democráticos discutissem regras de segurança comuns com outros governos, incluindo países autoritários, começando por áreas de interesse comum, como a proibição do uso de inteligência artificial para desenvolver armas biológicas.
Os recursos do modelo podem melhorar mais rapidamente do que o controle de riscos
Amodei disse que o recente aprimoramento na capacidade dos modelos de inteligência artificial de participarem do desenvolvimento de modelos de próxima geração pode acelerar as iterações tecnológicas. Se as capacidades dos modelos continuarem a melhorar rapidamente, a capacidade humana de compreender, avaliar e controlar os sistemas relacionados poderá não acompanhar o ritmo.
Ele estima que progressos substanciais podem ser feitos nos próximos um a dois anos em áreas como interpretabilidade de modelos, avaliação de segurança, pesquisa de alinhamento e especificações operacionais. O controle adequado da velocidade do avanço da capacidade pode ganhar tempo para essas medidas sem exigir que a indústria interrompa completamente a pesquisa e o desenvolvimento da inteligência artificial.
O CEO da OpenAI, Sam Altman, posteriormente apoiou a introdução de avaliadores independentes e disse que a OpenAI adotaria acordos semelhantes. Elon Musk também concordou publicamente com o apelo da Amodei para desacelerar o desenvolvimento do modelo.
Comentários