Resumo:
O CEO da Anthropic, Dario Amodei, pediu o controle da velocidade de melhoria nas capacidades dos modelos de inteligência artificial de ponta para ganhar tempo para avaliações de segurança e medidas de proteção. Ele propôs a introdução de avaliadores independentes permanentes, a coordenação dos padrões de segurança dos grandes desenvolvedores e a promoção da gestão de riscos e da cooperação transfronteiriça no controle.
Avaliadores independentes ganham acesso interno
Amodei propôs que as empresas de IA de ponta forneçam acesso contínuo, próximo ao nível dos funcionários, a equipes de avaliação independentes qualificadas, para que possam revisar testes de modelos, relatórios de riscos, estruturas de segurança e processos de tratamento de incidentes.
A Anthropic está empenhada em ser a primeira a implementar esta medida. Pessoal externo terá acesso semelhante ao da equipe de avaliação de riscos da empresa e poderá publicar conclusões sem o controle editorial da Antrópico.
Este acordo ainda precisa resolver questões como a seleção de avaliadores, fontes de financiamento e obrigações de confidencialidade. Os pesos dos modelos, a infra-estrutura de formação e as vulnerabilidades de segurança são informações altamente sensíveis, e a expansão dos direitos de acesso também aumentará os requisitos de segurança da informação.
A coordenação da indústria limita a competição desprotegida por competências
A segunda recomendação pede que os principais laboratórios de IA desenvolvam padrões comuns para testes de risco, limites de segurança e condições de liberação de modelos. Amodei acredita que a pressão competitiva pode levar as empresas a acelerar o ritmo de treinamento e liberação, dificultando que as medidas de proteção acompanhem as capacidades do modelo em tempo hábil.
A Política de Escalabilidade Responsável da Anthropic adotou um mecanismo escalonado. Quando os modelos ultrapassam os limites de risco biológico, cibernético, de P&D automatizado ou de perda de controle, as empresas precisam aumentar seus níveis de proteção de implantação e de segurança da informação.
A cooperação entre empresas pode envolver limites antitruste. Existe um interesse público em trabalhar em conjunto para desenvolver normas de testes de segurança, mas os acordos podem ainda estar sujeitos ao escrutínio regulamentar se restringirem a entrada de pequenos intervenientes no mercado, coordenarem o lançamento de produtos ou reduzirem a concorrência.
A cooperação internacional cobre riscos transfronteiriços
A terceira recomendação envolve a cooperação intergovernamental, incluindo o estabelecimento de acordos mínimos de segurança com concorrentes estratégicos como a China. Amodei acredita que os modelos e as tecnologias podem fluir através das fronteiras e que o abrandamento da velocidade de desenvolvimento de um único país ou empresa pode levar à transferência de I&D de alto risco para regiões com regulamentações mais fracas.
Os riscos potenciais listados pela Anthropic incluem o uso de modelos para auxiliar atividades de armas biológicas, descoberta em larga escala de vulnerabilidades de software, ataques a infraestruturas críticas e sistemas de IA que fogem do controle do desenvolvedor. A IA participa automaticamente no desenvolvimento de modelos de próxima geração, o que também pode acelerar ainda mais as melhorias de capacidade.
A empresa propõe que os desenvolvedores de ponta publiquem cartões de sistema e relatórios de risco regulares, aceitem análises independentes e forneçam as informações necessárias às agências governamentais designadas. Os governos devem ter poderes limitados para prevenir ou atrasar a implementação de modelos que possam causar danos catastróficos, com limiares claros e mecanismos de recurso em vigor.
O apoio da indústria ainda não foi traduzido em um acordo
O CEO da OpenAI, Sam Altman, apoia a concessão de acesso interno aos avaliadores independentes e disse que a OpenAI adotará acordos semelhantes. O CEO do Google DeepMind, Demis Hassabis, e o chefe da xAI, Elon Musk, também apoiaram publicamente a direção geral da Amodei.
Declarações relevantes ainda não formaram um acordo vinculativo da indústria. Que indicadores de capacidade desencadearão abrandamentos ou suspensões, se as revisões independentes terão efeito obrigatório e como os acordos transfronteiriços serão aplicados continuam a ser determinados pelas empresas e pelos governos.
Comentários