Resumo:
A Anthropic deu a avaliadores externos acesso quase interno de funcionários para avaliar o risco de seu grande modelo. Esta medida cumpre a promessa da empresa de reforçar ainda mais os mecanismos de proteção de segurança em resposta às preocupações externas de que a tecnologia de IA possa estar catastroficamente fora de controlo.
METR, uma organização sem fins lucrativos, tem cooperado com os principais laboratórios de IA, como OpenAI, Anthropic, Google e Meta. Agora a equipe do METR está estacionada no escritório do desenvolvedor Claude e tem acesso aos seus equipamentos de hardware e sistemas internos.
O mundo exterior está cada vez mais preocupado com os riscos que sistemas de IA mais capazes podem trazer para a economia, para a segurança das redes e até para toda a humanidade. Permitir que agências de avaliação terceirizadas assumam maiores responsabilidades é uma das principais medidas de implementação propostas pelos principais laboratórios de IA.
Em setembro deste ano, o CEO da Anthropic, Dario Amodei, propôs um plano para enviar auditores externos para o laboratório principal de IA, que raramente era apoiado por dois grandes rivais, Sam Altman (OpenAI) e Elon Musk (SpaceX).
O anúncio de quinta-feira é o primeiro passo na implementação desses compromissos. Altman disse que a proposta da Amoday é viável, mas a OpenAI ainda não apresentou planos para introduzir avaliadores externos.
A Anthropic disse na quinta-feira: "À medida que as capacidades dos modelos continuam a aumentar, precisamos de melhor proteção de segurança e avaliações de risco mais difíceis. Esperamos que nossas decisões possam aceitar a supervisão pública, mas todas as informações relacionadas ao trabalho de segurança não podem ser divulgadas ao mundo exterior."
Os críticos do plano da Anthropic de introduzir avaliadores externos acreditam que este mecanismo pode criar conflitos de interesse e usam os males passados do setor contábil como exemplo para defender a introdução de uma supervisão governamental mais rigorosa.
A Anthropic argumentou que a divulgação de todas as informações poderia ser usada por atores mal-intencionados ou concorrentes; acrescentou ainda que o modelo de trabalho deste grupo de avaliadores é semelhante ao da supervisão bancária: as agências reguladoras enviam revisores permanentes para trabalhar dentro dos grandes bancos.
A empresa disse: "Se as operações arriscadas de um banco ameaçam os interesses públicos, terceiros precisam ser capazes de detectar antecipadamente os perigos ocultos."
A Anthropic também está sob pressão para garantir aos investidores que questões relacionadas com segurança não afetarão o seu IPO planeado para este ano, prevendo-se que a empresa seja avaliada em mais de 2 biliões de dólares. Esta semana, os materiais de apresentação da empresa aos investidores dedicaram muito espaço à introdução de suas medidas de controle de segurança.
O METR certa vez participou da investigação da intrusão do modelo fora de controle da OpenAI no Hugging Face, revisou milhares de registros e equipou laptops corporativos para realizar o trabalho.
Atualmente, a Anthropic aceitou seis funcionários do METR, fornecendo-lhes hardware corporativo e espaço de escritório, além de acesso a ferramentas e sistemas internos aproximadamente no mesmo nível da equipe interna de avaliação de riscos da empresa.
O laboratório de IA disse que incentiva os funcionários a compartilhar informações com os avaliadores da mesma forma que fariam com colegas do departamento de risco interno.
A Anthropic não pagará taxas ao METR por esta cooperação. A instituição de pesquisa não aceita doações de empresas de IA e de seus funcionários. Os fundos vêm de doações de indivíduos, organizações de bem-estar público e agências governamentais, como o Instituto Britânico de Segurança de Inteligência Artificial.
Os avaliadores divulgarão o relatório de análise para o mundo exterior, e a Anthropic não tem o direito de vetar a divulgação do relatório. Mas as empresas podem pedir aos avaliadores que editem certas categorias de informações, como dados de clientes, conteúdo protegido por privilégio advogado-cliente e detalhes sobre a arquitetura do modelo.
A Anthropic também continua a cooperar com a Accenture. As duas partes anunciaram no mês passado que se tornaram parceiros em testes de segurança, comprometendo-se cada uma a investir pelo menos mil milhões de dólares para construir um novo sistema de proteção de segurança. Há também uma organização de testes terceirizada, a SecureBio, que analisa especificamente os riscos relacionados às armas químicas e biológicas.
A Anthropic disse: "Enviamos voluntariamente avaliadores externos e acreditamos que todas as empresas de IA de ponta deveriam adotar a mesma abordagem."
Comentários