De acordo com um novo estudo da Universidade de East Anglia (UEA), a plataforma de inteligência artificial ChatGPT mostra claras tendências sistémicas de esquerda. Uma equipe de pesquisadores britânicos e brasileiros desenvolveu um novo método rigoroso para examinar preconceitos políticos. Os resultados da pesquisa, publicados em uma edição recente da revista Public Choice, mostram que as respostas do ChatGPT são benéficas para o Partido Democrata dos EUA, o Partido Trabalhista Britânico e o presidente do Partido dos Trabalhadores Brasileiro, Lula da Silva.
Preocupações anteriores e a importância da neutralidade
Preocupações sobre o preconceito político inerente ao ChatGPT já foram levantadas antes, mas este é o primeiro estudo em grande escala a utilizar uma abordagem de análise consistente e baseada em evidências.
O autor principal, Fabio Motoki, da Norwich Business School da Universidade de East Anglia, disse: "À medida que o público usa cada vez mais sistemas baseados em IA para descobrir fatos e criar novos conteúdos, é importante que o resultado de plataformas populares como o ChatGPT seja tão imparcial quanto possível. A presença de preconceito político pode influenciar as opiniões dos usuários e ter consequências potenciais para os processos políticos e eleitorais. Nossas descobertas aumentam a preocupação de que os sistemas de IA possam replicar ou até mesmo amplificar os desafios existentes colocados pela Internet e pelas mídias sociais. "
Método usado
Os pesquisadores desenvolveram um novo método inovador para testar a neutralidade política do ChatGPT. Os pesquisadores pediram aos usuários da plataforma que se passassem por indivíduos de todo o espectro político enquanto respondiam a uma série de mais de 60 perguntas ideológicas. Essas respostas foram então comparadas com as respostas padrão da plataforma ao mesmo conjunto de perguntas – permitindo aos pesquisadores medir até que ponto as respostas do ChatGPT estavam associadas a posições políticas específicas.
Para superar as dificuldades colocadas pela aleatoriedade inerente aos “grandes modelos de linguagem” que alimentam plataformas de inteligência artificial como o ChatGPT, cada pergunta foi feita 100 vezes e respostas variadas foram coletadas. Estas respostas múltiplas foram então submetidas a 1.000 iterações de 'bootstrapping' (um método de reamostragem dos dados originais) para melhorar ainda mais a fiabilidade das inferências extraídas do texto gerado.
O coautor Victor Rodrigues disse: "Criamos este programa porque apenas uma rodada de testes não foi suficiente. Devido à natureza estocástica do modelo, as respostas do ChatGPT às vezes se desviavam para o lado direito do espectro político, mesmo quando se passava por um democrata."
Para garantir que o método fosse o mais rigoroso possível, também realizamos uma série de testes adicionais. Num “teste dose-resposta”, pediu-se ao ChatGPT que personificasse posições políticas radicais. No “teste placebo”, foram feitas perguntas politicamente neutras. No “Teste de Congruência Profissional-Política” é solicitado que imitem diferentes tipos de profissionais.
propósito e significado
“Esperamos que a nossa abordagem ajude na revisão e regulamentação destas tecnologias em rápida evolução”, disse o co-autor Dr. Pinho-Netto. “Ao detectar e corrigir preconceitos no LLM, pretendemos aumentar a transparência, a responsabilização e a confiança pública nesta tecnologia”, acrescentou. "
O Dr. Motoki disse que as novas ferramentas analíticas exclusivas criadas pelo projeto serão gratuitas para uso público e relativamente simples, "democratizando assim a supervisão". Além de verificar preconceitos políticos, a ferramenta pode ser usada para medir outros tipos de preconceitos nas respostas do ChatGPT.
fontes potenciais de preconceito
Embora o projecto de investigação não tenha procurado identificar as causas do preconceito político, os resultados apontam para duas fontes potenciais.
O primeiro é o conjunto de dados de treinamento - pode haver preconceito nele ou preconceito adicionado por humanos que os procedimentos de "limpeza" do desenvolvedor não conseguiram remover. Uma segunda fonte potencial é o próprio algoritmo, que pode amplificar vieses já presentes nos dados de treinamento.