Na sexta-feira, o modelo Maverick não modificado "Llama-4-Maverick-17B-128E-Instruct" teve classificação inferior a modelos como GPT-4o da OpenAI, Claude3.5Sonnet da Anthropic e Gemini1.5Pro do Google. Muitos desses modelos foram lançados há alguns meses.
Por que o mau desempenho? Meta explica em um gráfico publicado no sábado que seu modelo experimental Maverick, Llama-4-Maverick-03-26-Experimental, foi “otimizado para natureza conversacional”. Essas otimizações aparentemente funcionam bem no LMArena, pois a plataforma exige que avaliadores humanos comparem os resultados de modelos individuais e escolham qual modelo preferem.
Por vários motivos, o LMArena nunca foi a métrica mais confiável para medir o desempenho do modelo de IA. No entanto, adaptar um modelo a um benchmark – além de ser enganoso – também torna difícil para os desenvolvedores preverem com precisão o desempenho do modelo em diferentes ambientes.
A Meta tentou “todos os tipos de variações personalizadas”, disse um porta-voz da Meta em comunicado.
“'Llama-4-Maverick-03-26-Experimental' é a versão otimizada para chat que testamos e teve um bom desempenho no LMArena”, disse o porta-voz. "Agora lançamos a versão de código aberto e observaremos como os desenvolvedores personalizam o Llama4 para seus próprios casos de uso. Estamos ansiosos para ver seus resultados finais e aguardando seu feedback contínuo."