Um novo relatório da HAI (Inteligência Artificial Centrada no Homem) da Universidade de Stanford conclui que nenhum dos desenvolvedores conhecidos dos modelos subjacentes de inteligência artificial, incluindo empresas como OpenAI e Meta, divulgou informações suficientes sobre o seu impacto potencial na sociedade.
Hoje, Stanford HAI lançou seu Índice de Transparência do Modelo Subjacente, que rastreia se os criadores dos 10 modelos de inteligência artificial mais populares divulgam informações sobre seu trabalho e como as pessoas usam seus sistemas. Entre os modelos testados, o Llama2 da Meta obteve a pontuação mais alta, seguido pelo BloomZ e depois pelo GPT-4 da OpenAI. Mas acontece que nenhum deles obteve pontuação particularmente alta.
Outros modelos avaliados incluem StableDiffusion da Stability, Claude da Anthropic, PaLM2 do Google, Command da Cohere, Jurassic2 da AI21Labs, Inflection-1 da Inflection e Titan da Amazon.
Os investigadores reconhecem que a transparência pode ser um conceito bastante amplo. A sua definição baseia-se em 100 indicadores que fornecem informações sobre como o modelo é construído, como funciona e como as pessoas o utilizam. Eles analisaram as informações públicas sobre o modelo e deram uma pontuação a cada um, observando se as empresas divulgavam parceiros e desenvolvedores terceirizados, se informavam aos clientes se seus modelos usavam informações privadas e uma série de outras questões.
Quando a empresa divulgou sua pesquisa sobre criação de modelos, a pontuação Meta foi de 53%, com a pontuação mais alta em noções básicas de modelos. O modelo de código aberto BloomZ segue logo atrás com 50% de suporte, e GPT-4 com 47% de suporte - empatado para difusão estável, apesar da abordagem de design relativamente bloqueada da OpenAI.
A OpenAI recusa-se a publicar a maior parte dos resultados da sua investigação e não revela a fonte dos seus dados, mas o GPT-4 consegue uma classificação elevada porque há muita informação disponível sobre os seus parceiros. A OpenAI trabalha com diversas empresas diferentes para integrar o GPT-4 em seus produtos, resultando em uma riqueza de detalhes públicos disponíveis para visualização.
No entanto, os investigadores de Stanford descobriram que nenhum dos criadores do modelo revelou qualquer informação sobre o impacto social, incluindo onde apresentar queixas de privacidade, direitos de autor ou preconceito.
Rishi Bommasani, diretor social do Centro de Modelagem Fundamental da Universidade de Stanford e um dos pesquisadores do índice, disse que o objetivo do índice é fornecer uma referência para governos e empresas. Alguns regulamentos propostos, como a Lei de Inteligência Artificial da UE, poderão em breve forçar os criadores de modelos subjacentes em grande escala a fornecer relatórios de transparência.
“O que estamos a tentar alcançar com o índice é tornar o modelo mais transparente e quebrar conceitos muito pouco claros em coisas mais concretas que possam ser medidas”, disse Bomasani. O grupo se concentrou em um modelo de cada empresa para facilitar as comparações.
A IA generativa tem uma comunidade grande e ativa de código aberto, mas algumas das maiores empresas da área não compartilham pesquisas ou seus códigos publicamente. Embora a OpenAI tenha a palavra “aberto” em seu nome, ela não distribui mais suas pesquisas, citando questões de concorrência e segurança.
Bommasani disse que a organização está aberta a expandir o escopo do índice, mas enquanto isso permanecerá com os 10 modelos básicos que já avaliou.