A NVIDIA se uniu às equipes de pesquisa da GeorgiaTech, UMD e HKPU para lançar um novo modelo de linguagem visual – NVEagle.É relatado que o NVEagle pode compreender cenas complexas da vida real e fornecer melhor interpretação e resposta por meio de informações visuais.
O núcleo do seu design é converter imagens em marcações visuais e depois combiná-las com incorporações de texto para melhorar a compreensão da informação visual. NVEagle inclui três versões: Eagle-X5-7B, Eagle-X5-13B e Eagle-X5-13B-Chat. Entre eles, as versões 7B e 13B são usadas principalmente para tarefas gerais de linguagem visual, enquanto a versão 13B-Chat é especificamente ajustada para IA de conversação e pode interagir melhor com base em informações visuais.
Um destaque do NVEagle é a adoção de um mecanismo Mixed Expert (MoE), que pode selecionar dinamicamente o codificador visual mais apropriado com base em diferentes tarefas, o que melhora muito as capacidades de processamento de informações visuais complexas.O modelo foi publicado no HuggingFace para conveniência de pesquisadores e desenvolvedores.