Resumo:
A OpenAI divulgou uma série de incidentes anteriormente não divulgados de comportamento anormal de modelos de IA e lançou uma nova estrutura de rastreamento e divulgação para relatar situações semelhantes no futuro. A OpenAI disse em um blog na quarta-feira que casos não divulgados anteriormente incluem casos em que sua tecnologia de inteligência artificial reteve e fabricou informações para entregar resultados. O desenvolvedor do ChatGPT tem enfrentado um escrutínio cada vez maior desde que revelou em julho que alguns de seus modelos mais avançados haviam rompido o sistema da empresa de software externa Hugging Face.
A OpenAI disse em um comunicado separado que nenhum dos incidentes de desvio de alvo recentemente divulgados envolveu hacking ou intrusão em sistemas de terceiros.
No relatório, a OpenAI detalhou vários casos em que modelos de inteligência artificial se comportaram de forma anormal para completar tarefas ou ter sucesso em avaliações. Isso inclui fabricar dados perdidos, tentar contornar restrições de rede e compartilhar arquivos supostamente confidenciais entre agentes de IA.
A OpenAI também introduziu um mecanismo para que os funcionários relatem proativamente esses incidentes de “desvio de meta”. O chamado “desvio de meta” refere-se à inteligência artificial que realiza ações que são inconsistentes com os objetivos humanos. A empresa também estabeleceu processos correspondentes de classificação e descarte.
A OpenAI escreveu: "No passado, trabalhamos duro para divulgar resultados de pesquisas sobre o fenômeno fora do alvo, a fim de informar melhor os pesquisadores, os desenvolvedores de IA, os legisladores e o público. No entanto, devido à falta de um mecanismo sistemático de relatórios, nossas divulgações anteriores eram frequentemente esporádicas e menos frequentes do que o ideal."
A empresa disse que este comunicado representa apenas a primeira divulgação e não é um registro completo dos problemas que seu chatbot causou.
A OpenAI escreveu: "Acreditamos que a indústria de IA não fez progresso suficiente no alinhamento e monitoramento dos objetivos humanos para continuar a escalar na velocidade mais alta e, ao mesmo tempo, aumentar de forma responsável no longo prazo. As decisões sobre o caminho do desenvolvimento da IA nos próximos meses e anos devem ser baseadas em evidências que possam ser revisadas de forma independente por aqueles que estão fora das empresas que desenvolvem modelos de ponta."
O incidente Hugging Face é apenas um incidente recente envolvendo OpenAI, Anthropic PBC e Meta Platforms Inc. O modelo de IA desenvolvido desencadeou uma série de ataques cibernéticos. Os incidentes aumentaram as preocupações sobre os riscos de segurança representados por esta tecnologia cada vez mais poderosa.
Na semana passada, as discussões sobre os riscos existenciais da IA esquentaram ainda mais. O gatilho foi a saída de destaque do funcionário da Anthropic, Jacob Coxon. Em sua declaração de demissão publicada nas redes sociais, ele acusou as empresas de IA de “apostar com nossas vidas”.
Nos últimos dias, muitos líderes da indústria de IA, incluindo o CEO da Anthropic, Dario Amodei, e o CEO da OpenAI, Sam Altman, pediram a desaceleração da velocidade do desenvolvimento tecnológico para lidar com riscos cada vez mais imprevisíveis, mas ainda discordam sobre como lidar com isso.
No sábado, Amodei apelou ao governo para reforçar a regulamentação num artigo de 3.800 palavras e defendeu que toda a indústria tecnológica apoiasse uma desaceleração mais ampla da IA. Numa conferência em São Francisco na terça-feira, tanto Altman como o CEO da Nvidia, Jensen Huang, reconheceram preocupações, mas argumentaram que as empresas de IA podem controlar o ritmo seguro do desenvolvimento tecnológico. O CEO da Meta, Mark Zuckerberg, disse que os laboratórios de IA deveriam contar com agências de avaliação e consultores independentes para garantir a segurança do modelo.
EUA O presidente Donald Trump se opôs fortemente na segunda-feira aos apelos para desacelerar o desenvolvimento da inteligência artificial, descartando as preocupações sobre os riscos relacionados como uma "farsa" e recusando-se a introduzir novas regras regulatórias.
A mania da IA levou o mercado de ações dos EUA a uma recuperação histórica. Para os investidores que apostam que o boom da IA irá gerar centenas de milhares de milhões de dólares em gastos de capital, qualquer pausa ou atraso no desenvolvimento de sistemas de IA de ponta não será bem-vinda.
Comentários