O Google acaba de lançar o Gemini, seu conjunto mais poderoso de modelos de inteligência artificial até agora, mas a empresa foi acusada de mentir sobre seu desempenho. Uma coluna da Bloomberg afirmou que o Google deturpou o desempenho do Gemini em um vídeo recente. O colunista Parmy Olson disse que o Google exibiu um impressionante vídeo prático “What the AIquack” em seu evento de lançamento no início desta semana. No vídeo, Gêmeos parecia muito capaz – talvez poderoso demais.
Este vídeo de seis minutos demonstra as capacidades multimodais do Gemini (por exemplo, prompts de diálogo falado combinados com reconhecimento de imagem). Gêmeos parece ser capaz de reconhecer imagens rapidamente (até mesmo imagens conectadas), reagir em segundos e rastrear bolas de papel em um jogo de copa e bola em tempo real. É claro que os humanos podem fazer tudo isso, mas esta é uma IA que pode reconhecer e prever o que acontecerá a seguir.
Clique na descrição do vídeo no YouTube e o Google tem um aviso importante: “Para fins de demonstração, a latência foi reduzida e a saída do Gemini foi encurtada para simplificar”.
É aqui que Olson está insatisfeito. De acordo com seu artigo na Bloomberg, o Google admitiu, quando solicitado a comentar, que a demonstração em vídeo não foi ao vivo com comandos de voz, mas em vez disso usou quadros de imagens estáticas da filmagem original e, em seguida, escreveu avisos de texto para Gemini responder. Olson escreveu: "Isso é muito diferente do que o Google parece estar sugerindo: que é possível ter uma conversa de voz suave com o Gemini, enquanto o Gemini observa e responde ao mundo ao seu redor em tempo real. Para ser justo, o Google frequentemente edita vídeos de demonstração, especialmente porque muitas empresas querem evitar quaisquer falhas técnicas que acompanham as demonstrações ao vivo. Um pequeno ajuste geralmente é sim. Mas o Google teve problemas com demonstrações de vídeo. As pessoas estavam céticas em relação à demonstração Duplex do Google (lembra do Duplex? Duplex era um assistente de voz de IA que podia ligar para salões de beleza e restaurantes para fazer reservas). E vídeos pré-gravados de modelos de IA tendem a deixar as pessoas ainda mais céticas."
Nesse caso, Olson acredita que o Google está “se exibindo” para enganar as pessoas, fazendo-as não saber que a Gemini ainda está atrasada em relação ao GPT da OpenAI.
O Google não concorda com isso. Quando questionado sobre a autenticidade da demonstração, o Google apontou para um artigo de Oriol Vinyals, vice-presidente de pesquisa e chefe de aprendizagem profunda do Google DeepMind (que também co-lidera o Gemini), explicando como a equipe criou o vídeo.
Vinyals disse: "Todas as solicitações e resultados do usuário no vídeo são reais e foram abreviados para fins de brevidade. O vídeo mostra uma experiência de usuário multimodal construída com Gemini. Fizemos isso para inspirar os desenvolvedores."
Ele acrescentou que a equipe deu fotos e textos ao Gemini e pediu que ele previsse o que aconteceria a seguir.
Essa é certamente uma maneira de lidar com a situação, mas pode não ser a opção certa para o Google – que, pelo menos aos olhos do público, ficou surpreso com o grande sucesso da OpenAI este ano. Se o Google quiser incentivar os desenvolvedores, não poderá fazê-lo por meio de vídeos promocionais cuidadosamente editados que possam deturpar as capacidades da IA. Mas permitindo que jornalistas e desenvolvedores realmente experimentem o produto. Deixe as pessoas fazerem coisas estúpidas com o Gemini em um pequeno beta público. Vamos ver o quão poderoso isso é.