Um estudo em grande escala liderado pelo Departamento de Psicologia da Universidade de Montreal, no Canadá, mostra que os sistemas generativos de inteligência artificial superaram os participantes humanos comuns em alguns testes padronizados de criatividade, mas os humanos mais criativos ainda estão significativamente à frente, o que significa que a IA é mais uma poderosa ajuda criativa do que um substituto para os criadores humanos.

A pesquisa foi liderada por Karim Jerbi, professor da Universidade de Montreal, e os membros da equipe incluíam Yoshua Bengio, pioneiro em aprendizagem profunda e professor da Universidade de Montreal. Eles conduziram uma avaliação sistemática de uma série de grandes modelos de linguagem convencionais (incluindo ChatGPT, Claude, Gemini, etc.) e os compararam com dados de mais de 100.000 sujeitos humanos. Atualmente é um dos maiores estudos comparativos da criatividade homem-máquina. O artigo foi publicado na revista "Scientific Reports", intitulado "Criatividade divergente em humanos e grandes modelos de linguagem".

Os resultados mostram que em alguns testes utilizados para medir a "criatividade linguística divergente", a pontuação média de alguns grandes modelos linguísticos (incluindo o GPT-4) excedeu a dos humanos comuns. Jerbi observou que esta descoberta é “talvez surpreendente e até perturbadora”, mas igualmente importante: mesmo os sistemas de IA mais fortes ainda têm um desempenho pior do que os indivíduos humanos mais criativos.

Uma análise mais aprofundada mostrou que quando os investigadores analisaram apenas metade dos participantes cujos níveis de criatividade estavam na "metade superior" dos humanos, o desempenho médio deste grupo já era melhor do que o de todos os sistemas de IA testados, e entre os 10% melhores de pessoas criativas, a lacuna entre os humanos e a IA era ainda mais óbvia. Os co-autores Antoine Bellemare-Pépin, pós-doutorado na Universidade de Montreal, e François Lespinasse, estudante de doutorado na Concordia University, apontaram que isso mostra que “o mais alto nível de criatividade ainda é uma vantagem humana única”.

Para comparar de forma justa os humanos e a IA, a equipe usou uma variedade de métodos. A ferramenta principal foi a "Tarefa de Associação Divergente" (DAT) desenvolvida pelo colaborador Jay Olson, pesquisador da Universidade de Toronto, no Canadá. Este teste psicológico exige que os participantes - sejam humanos ou IA - forneçam 10 palavras que sejam tão semanticamente diferentes entre si quanto possível em uma resposta, como "galáxia, garfo, liberdade, algas, gaita, quantum, nostalgia, veludo, furacão", etc., e mede a capacidade de pensamento divergente calculando a distância semântica entre as palavras.

Pesquisas anteriores mostraram que o desempenho humano no DAT está altamente correlacionado com os resultados de outros testes de criatividade tradicionais, como escrita criativa, geração de ideias, resolução criativa de problemas, etc., e portanto pode ser considerado como um indicador substituto rápido de processos cognitivos criativos mais amplos. Outra característica do DAT é que ele é fácil de operar e tem pouco tempo, geralmente leva apenas dois a quatro minutos para ser concluído, e é aberto ao público em formulário online.

Depois de completar o teste básico de palavras, a equipe de pesquisa examinou ainda mais se esse desempenho de “nível linguístico” poderia ser transferido para tarefas criativas mais complexas. Eles organizaram para que o sistema de IA competisse frente a frente com participantes humanos em vários cenários de escrita, incluindo a criação de haicais (poemas curtos de três linhas), a escrita de resumos de enredos de filmes e a criação de contos, e então avaliaram a qualidade dos trabalhos. Os resultados continuam o padrão anterior: em algumas tarefas, o desempenho médio da IA ​​é melhor do que o dos humanos comuns, mas entre os criadores humanos de nível superior, especialmente aqueles que são melhores a escrever e a contar histórias, a vantagem humana ainda é óbvia.

A pesquisa também explorou uma questão-chave: a “criatividade” da IA ​​é controlável e ajustável? A resposta é sim. O artigo destacou que um parâmetro técnico importante é a “temperatura” do modelo, que afeta a previsibilidade e diversidade do conteúdo de saída: quando a temperatura é mais baixa, as respostas geradas pela IA são mais conservadoras e mais previsíveis; quando a temperatura é mais elevada, o resultado é mais variável e instável, muitas vezes levando a associações mais arriscadas, mas também mais inovadoras.

Além disso, a forma como o prompt é escrito também tem um impacto significativo. O estudo descobriu que quando as instruções encorajavam o modelo a considerar a origem e a estrutura das palavras etimologicamente, a IA era mais propensa a fazer associações inesperadas e pontuar mais alto nas avaliações de criatividade. Isto significa que a criatividade demonstrada pela IA depende fortemente da contribuição e orientação humana, e o design da interação humano-computador está a tornar-se um dos principais elos do processo criativo.

No contexto das preocupações generalizadas de que a IA “substituirá” os trabalhadores criativos, este estudo fornece um julgamento relativamente prudente. Jerbi enfatizou que, embora a IA atinja ou até supere o nível médio de criatividade humana em alguns testes padronizados, é enganoso compreender excessivamente a relação homem-máquina como “competição”. Na sua opinião, a IA generativa é antes de tudo uma ferramenta criativa extremamente poderosa. “Não substituirá os criadores, mas mudará profundamente a forma como os criadores imaginam, exploram e criam – claro, isto depende se as pessoas escolhem usá-lo”.

No final do artigo, salienta-se que em vez de prever o fim das carreiras criativas, é melhor considerar a IA como um “assistente criativo” que expande os limites da imaginação. A futura ecologia da criatividade pode já não ser uma simples batalha entre humanos e máquinas, mas um novo paradigma de colaboração homem-máquina: a IA fornece aos humanos inspiração, variações e campos de testes, enquanto os humanos compreendem a estética, o valor e o significado a um nível mais elevado. Jerbi acredita que este tipo de investigação que compara positivamente as capacidades dos humanos e das máquinas está a forçar a comunidade académica e o público a repensar a questão fundamental de “o que conta como criatividade”.