Pokémon é uma referência difícil para inteligência artificial? Uma equipe de pesquisadores acha que Super Mario Bros. é mais desafiador. Pesquisadores do Laboratório de Inteligência Artificial Hao da Universidade da Califórnia, em San Diego (HaoAILab), colocaram inteligência artificial na transmissão ao vivo do jogo Super Mario Bros. Claude3.7 da Anthropic teve o melhor desempenho, seguido por Claude3.5. O Gemini1.5Pro do Google e o GPT-4o da OpenAI tiveram um desempenho ruim.

Você sabe, a versão de Super Mario Bros. não é exatamente igual à versão original lançada em 1985. O jogo roda em um emulador e se integra à estrutura GamingAgent para permitir que a inteligência artificial controle Mario.

O GamingAgent desenvolvido pela HaoAILab fornece instruções básicas para a inteligência artificial, como “Se houver um obstáculo ou inimigo se aproximando, mova para a esquerda/pule para evitar”, bem como capturas de tela do jogo. A IA então gera as entradas que controlam Mario na forma de código Python.

No entanto, disse Hao, o jogo força cada modelo a “aprender” a planejar operações complexas e desenvolver estratégias de jogo. Curiosamente, o laboratório descobriu que os modelos inferenciais (como o modelo o1 da OpenAI, que “pensa” num problema passo a passo para chegar a uma solução) tiveram um desempenho pior do que os modelos “não inferenciais”, embora fossem geralmente mais fortes na maioria dos benchmarks.

Os pesquisadores dizem que uma das principais razões pelas quais os modelos de inferência têm dificuldade em jogar esses jogos em tempo real é que eles demoram um pouco – muitas vezes segundos – para decidir sobre uma ação. O tempo é tudo em Super Mario Bros. Um segundo pode significar a diferença entre dar um salto seguro ou cair num abismo.

Os jogos têm sido usados ​​como referência para inteligência artificial há décadas. Mas alguns especialistas questionam a sabedoria de vincular as habilidades de jogo da IA ​​aos avanços tecnológicos. Ao contrário do mundo real, os jogos tendem a ser abstratos, relativamente simples e, teoricamente, fornecem quantidades ilimitadas de dados para treinar a inteligência artificial.

Benchmarks recentes de jogos chamativos sugerem que o cientista pesquisador e membro fundador da OpenAI, Andrej Karpathy, está enfrentando uma “crise de avaliação”.

“Eu realmente não sei quais métricas [de IA] observar agora. TLDR, minha reação é que eu realmente não sei quão bons esses modelos são agora”, escreveu ele em um post no X.

Mas pelo menos podemos assistir a IA jogar Mario.