A mídia estrangeira deu a notícia de que Meta está desenvolvendo urgentemente um novo grande modelo de código aberto para avaliar o GPT-4, e o número de parâmetros é várias vezes maior que o Llama2. A Meta vai subverter a comunidade de IA novamente?De acordo com a mídia estrangeira "Wall Street Journal", Meta está intensificando o desenvolvimento de um novo modelo de linguagem de grande porte. Suas capacidades estarão totalmente alinhadas com o GPT-4 e deverá ser lançado no próximo ano.


A notícia também enfatizou especificamente que o novo modelo de linguagem grande do Meta será várias vezes maior que o Llama2 e provavelmente será de código aberto e suportará uso comercial gratuito.

Desde que Meta vazou "acidentalmente" o LlaMA no início do ano, até o lançamento de código aberto do Llama2 em julho, o Meta gradualmente encontrou sua posição única nesta onda de IA - a bandeira da comunidade de código aberto de IA.


01

A equipe está constantemente abalada e a habilidade do modelo é falha. Contamos com código aberto para retornar à tabela principal.

No início do ano, depois que a OpenAI detonou a indústria de tecnologia com o GPT-4, Google e Microsoft também lançaram seus próprios produtos de IA.

Em maio, os reguladores dos EUA convidaram CEOs de empresas líderes que consideravam relevantes para a indústria de IA para realizar uma mesa redonda para discutir o desenvolvimento da tecnologia de IA.

OpenAI, Google e Microsoft foram todos convidados, e até a startup Anthropic foi incluída, mas Meta não esteve presente. A resposta oficial à ausência da Meta na época foi: “Convidamos apenas as principais empresas do setor de IA”.


Coisas boas não aconteceram com Meta, mas os problemas continuaram chegando.

Primeiro, uma carta de inquérito do Congresso foi enviada diretamente a Xiao Zha no início de junho, pedindo-lhe em termos severos que explicasse as causas e consequências do vazamento do LlaMA em março.


Nos meses seguintes, mesmo após o lançamento do Llama2, a equipe de IA que Meta gastou muito dinheiro para construir ainda estava gradualmente desmoronando.

Nos agradecimentos do Llama2, três das quatro equipes mencionadas que iniciaram esta pesquisa renunciaram e atualmente apenas Edouard Grave ainda está no Meta.


O gigante da indústria He Yuming também deixará a Meta e retornará à academia.


De acordo com um artigo recente no The Information, a equipe de IA da Meta tem enfrentado atritos constantes devido à competição pelo poder computacional interno, e o pessoal tem saído um após o outro.

Neste contexto, o próprio Xiao Zha também deve deixar bem claro que o grande modelo de linguagem do Meta é de fato incapaz de competir com o GPT-4 mais avançado da indústria.

Quer se trate de testes de benchmark em várias direções ou feedback do usuário, a diferença entre o Llama2 e o GPT-4 ainda é relativamente grande.


Em vários testes de benchmark, ainda há uma grande lacuna entre o Llama2 de código aberto e o GPT-4.


A experiência real dos internautas também enfatiza constantemente que o GPT-4 ainda está muito à frente do Llama2

Portanto, Xiao Zha decidiu deixar o Meta continuar a correr descontroladamente no caminho do modelo de código aberto.

Talvez a lógica por trás do Xiaozha seja esta: as capacidades do metamodelo são medianas e não podem vencer os grandes de código fechado, então não faz sentido escondê-las. Em seguida, basta abrir o código-fonte e deixar a comunidade de IA continuar a iterar com base em seus próprios modelos para expandir a influência de seus produtos na indústria.

Além disso, Xiao Zha disse publicamente mais de uma vez que a iteração de seu próprio modelo pela comunidade de código aberto inspirará sua equipe técnica a desenvolver produtos mais competitivos no futuro.


Xiao Zha enfatizou no podcast de Fridman que o código aberto permite que o Meta se inspire na comunidade e que o Meta pode lançar um modelo de código fechado no futuro. Veja: https://lexfridman.com/mark-zuckerberg-2/

E os factos provaram que a escolha da Meta é de facto correcta.

Embora seja inferior ao Google e ao OpenAI em termos de recursos computacionais e força técnica, modelos de código aberto como o Llama2 da Meta ainda são incomparáveis ​​em seu apelo à comunidade de código aberto. À medida que o Llama2 lentamente se torna a "base técnica" da comunidade de código aberto de IA, o Meta também encontra seu próprio nicho ecológico na indústria.

O sinal mais óbvio é que na reunião a portas fechadas do Congresso sobre IA que será realizada em setembro, Xiao Zha finalmente se tornou convidado dos reguladores. Juntamente com os CEOs das empresas mais avançadas do setor, como Google e OpenAI, ele atuou como representante para expressar sua própria voz sobre a regulamentação da indústria de IA.


E se o novo modelo lançado pela Meta no próximo ano puder continuar a progredir e ganhar as mesmas capacidades do GPT-4, por um lado, permitirá que a comunidade de código aberto continue a fechar a lacuna com os gigantes do código fechado, confirmando a afirmação de que “a lacuna entre a comunidade de código aberto e o nível mais avançado da indústria é de cerca de um ano”.

Por outro lado, Xiao Zha também revelou na entrevista que se as capacidades dos modelos grandes forem melhoradas no futuro, a Meta poderá lançar o seu próprio modelo de código fechado. Se o novo modelo puder se aproximar ainda mais do SOTA da indústria, pode não estar longe de a Meta lançar seu próprio modelo de código fechado.

Embora Meta pareça ter ficado temporariamente para trás nesta onda de IA, a ambição de Xiao Zha não está disposta a ser apenas um seguidor.

Sob a orientação dos "Três Grandes da IA" Yann Lecun, Meta também está se preparando para subverter toda a indústria.

02

O futuro da Meta

Então, depois deste misterioso modelo grande que é lendário por ser comparável ao GPT-4, como será o MetaAI no futuro?

Como ainda não há informações específicas, só podemos fazer algumas suposições, como partir da atitude do cientista-chefe da MetaAI, LeCun.

GPT, o popular frango frito, sempre foi a rota de desenvolvimento da inteligência artificial que LeCun criticou e desprezou.

Em 4 de fevereiro deste ano, LeCun declarou sem rodeios: “No caminho para a IA de nível humano, os modelos de linguagem em grande escala são um caminho completamente tortuoso”.


Ele acredita que esse tipo de modelo grande que gera autorregressão baseada na probabilidade não sobreviverá por no máximo 5 anos, porque essas inteligências artificiais são treinadas apenas em uma grande quantidade de texto e não conseguem entender o mundo real.

Portanto, estes modelos não podem planear nem raciocinar, apenas têm capacidades de aprendizagem contextual.

Sério, essas inteligências artificiais treinadas no LLM quase não têm “inteligência”.

O que LeCun espera é um “modelo mundial” que possa levar à AGI.


Os modelos mundiais podem aprender como o mundo funciona, aprender mais rapidamente, planejar a conclusão de tarefas complexas e responder a novas situações desconhecidas a qualquer momento.

Isso é diferente do LLM, que requer muito pré-treinamento. O modelo mundial pode encontrar padrões a partir de observações, adaptar-se a novos ambientes e dominar novas habilidades como os humanos.

Em comparação com a estratégia de melhoria contínua e aprofundamento da OpenAI no campo do LLM, a Meta busca o desenvolvimento de modelos diversificados.

Em 14 de junho deste ano, a Meta lançou o I-JEPA, um modelo de inteligência artificial "semelhante ao humano", que também é o primeiro modelo de IA da história baseado em partes-chave da visão do modelo mundial de LeCun.


Endereço do artigo: https://arxiv.org/abs/2301.08243

O I-JEPA é capaz de compreender representações abstratas em imagens e adquirir bom senso por meio de aprendizagem supervisionada.

E o I-JEPA não requer conhecimento artificial adicional como auxílio.

Mais tarde, a Meta lançou o Voicebox, um novo sistema inovador de geração de voz baseado em um novo método proposto pela MetaAI - correspondência de fluxo.


Ele pode sintetizar fala em seis idiomas, realizar operações como remoção de ruído, edição de conteúdo e conversão de estilos de áudio.

A Meta também lançou agentes de IA incorporados de uso geral.

Através da coordenação de habilidades guiada por linguagem (LSC), o robô pode se mover e escolher livremente em um ambiente parcialmente pré-mapeado.

Meta também se diferencia no desenvolvimento de modelos multimodais.

ImageBind, o primeiro modelo de inteligência artificial capaz de vincular informações de seis modalidades diferentes.


Dá às máquinas uma compreensão abrangente, ligando objetos em fotos aos seus sons, formas tridimensionais, temperaturas e como se movem.

O RoboAgent, desenvolvido em conjunto pela MetaAI e CMU_Robotics, permite que os robôs adquiram uma variedade de habilidades não triviais e as promovam em centenas de cenários de vida.

Ao mesmo tempo, todos esses cenários têm uma ordem de grandeza menos dados do que trabalhos anteriores na área.


Em relação ao modelo revelado desta vez, alguns internautas manifestaram a esperança de que continuem a abrir o código-fonte.


No entanto, alguns internautas disseram que Meta não começará a treinar até o início de 2024.


Mas o que é gratificante é que a Meta ainda deu um sinal de que continuará a aderir à sua estratégia original.