Resumo:
A Meta lançou o modelo de inteligência artificial de peso aberto Muse Spark Open em 15 de outubro e cooperou com a Apple para otimizar a solução de execução local do modelo para Mac Studio.
Meta afirmou que o modelo possui 816 bilhões de parâmetros totais, dos quais aproximadamente 42 bilhões são realmente ativados para cada inferência, suporta uma janela de contexto de até 1 milhão de Tokens e é focado em programação, raciocínio complexo e tarefas de agentes de IA. Com dois Mac Studio equipados com chips M5 Ultra e cada um equipado com 512 GB de memória unificada, os usuários podem executar este modelo em grande escala em um ambiente de desktop sem ter que depender inteiramente de serviços de IA em nuvem.
Esta colaboração é bastante atraente. Apple e Meta tiveram diferenças significativas em políticas de privacidade, regras de plataforma e ecologia de aplicativos no passado, mas desta vez ambas as partes promoveram conjuntamente a operação do modelo de peso aberto no hardware da Apple. O CEO da Meta, Mark Zuckerberg, agradeceu ao CEO da Apple, John Ternus, por participar da cooperação. Ternus também declarou publicamente que o Muse Spark Open pode ser executado com eficiência em dispositivos desktop, demonstrando o potencial do Mac Studio na computação local de IA.
Muse Spark Open é a versão aberta da família de modelos Meta Muse. Ao contrário dos modelos fechados que só podem ser acessados através de serviços remotos, os modelos de peso aberto permitem que os usuários obtenham pesos de modelo e os implantem eles próprios, sujeitos às condições de licenciamento. Isto dá aos desenvolvedores, pesquisadores e empresas maior controle sobre o ambiente operacional e a capacidade de adaptar seus processos de inferência às suas necessidades.
O modelo tem um total de 816 bilhões de parâmetros, mas usa um design de ativação esparso, com apenas cerca de 42 bilhões de parâmetros ativados para cada inferência. Ou seja, o modelo não precisa envolver todos os parâmetros no cálculo ao processar cada Token, mas chama a parte correspondente de acordo com a tarefa e o conteúdo de entrada. Este design ajuda a reduzir a quantidade de computação de inferência, mas não significa que o modelo possa ser executado usando apenas a memória necessária para 42 bilhões de parâmetros, porque os pesos do modelo completo ainda precisam ser armazenados ou gerenciados de outra forma.
A janela de contexto é outro indicador importante do Muse Spark Open. Este modelo suporta 1 milhão de contextos de token e pode, teoricamente, processar textos muito longos, bases de código ou vários documentos em uma tarefa. Para tarefas de engenharia de software, isso significa que os modelos têm a oportunidade de fazer referência a grandes quantidades de código-fonte e materiais relacionados simultaneamente, reduzindo o risco de perda de informações críticas devido ao contexto insuficiente. No entanto, o comprimento real do contexto disponível, a velocidade de processamento e o consumo de memória ainda dependem da configuração específica em execução e da estrutura de inferência.
Meta disse que o Muse Spark Open foi otimizado para Mac Studio e pode ser executado usando a arquitetura de memória unificada dos chips da Apple. Os sistemas gráficos discretos tradicionais normalmente exigem que os pesos dos modelos sejam colocados na memória de vídeo, enquanto a arquitetura de memória unificada da Apple permite que a CPU e a GPU compartilhem o mesmo pool de memória. No Mac Studio que suporta memória unificada de grande capacidade, a GPU pode acessar até 512 GB de memória unificada, fornecendo uma base de hardware para executar grandes modelos de peso aberto.
De acordo com Meta, dois Mac Studio podem executar o modelo de forma colaborativa por meio da estrutura de software correspondente, de modo que o sistema tenha cerca de 1 TB de memória unificada. O chip M5 Ultra equipado em cada dispositivo tem largura de banda de memória de até 1,2 TB/s. Meta acredita que esta configuração pode executar o Muse Spark Open localmente enquanto utiliza o mecanismo de ativação esparso para ler apenas alguns dos parâmetros necessários para cada inferência de token.
A chave para esta solução não é simplesmente conectar dois computadores, mas trabalhar juntos por meio de uma arquitetura de memória unificada, fragmentação de modelo e estrutura de inferência, para que modelos que originalmente exigem infraestrutura de computação em larga escala possam ser executados em dispositivos desktop. A estrutura de aprendizado de máquina MLX da Apple potencializa a execução do modelo no Apple Silicon, e o Meta é ajustado de acordo com o Muse Spark Open.
No entanto, é necessário distinguir entre os dois conceitos do modelo ser capaz de carregar e rodar e o modelo ser capaz de rodar em alta velocidade. Ter memória suficiente resolve apenas um grande obstáculo na implantação de modelos muito grandes. A fragmentação do modelo, a comunicação entre dispositivos, a largura de banda da memória, a utilização da unidade de computação e o comprimento do contexto afetam a velocidade final de inferência. As informações divulgadas pela Meta desta vez enfatizaram a capacidade de execução e a configuração de hardware do modelo, mas não forneceram dados de teste de benchmark completos que sejam suficientes para avaliar totalmente o desempenho real.
O preço também é uma limitação importante deste plano. A Apple ainda não lançou oficialmente o Mac Studio equipado com 512 GB de memória unificada, que deverá estar disponível no final de outubro. Os modelos Mac Studio de última geração existentes com 256 GB de memória unificada já custam mais de US$ 10.000, portanto, espera-se que um sistema composto por duas versões de 512 GB seja um investimento caro. Para usuários individuais comuns, obviamente esta não é uma solução de IA local de baixo custo, mas para equipes de desenvolvimento e instituições de pesquisa que precisam executar grandes modelos e valorizar o controle de dados, ela fornece uma alternativa aos servidores tradicionais.
Meta afirmou que o Muse Spark Open não só pode ser executado no Mac Studio, mas também pode ser chamado através de múltiplas plataformas de IA em nuvem, incluindo Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter e Together AI. Para usuários que desejam fazer download dos pesos do modelo, os arquivos relevantes podem ser obtidos por meio do Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face e Microsoft Foundry Models.
Este modelo usa uma licença que permite uso comercial limitado, em vez de uma licença geral de código aberto sem restrições. Portanto, antes de usá-lo em produtos comerciais, os desenvolvedores e empresas ainda precisam ler atentamente os termos de licença específicos e confirmar se o método de implantação, a escala do usuário e os cenários de aplicação atendem aos requisitos.
Essa cooperação também reflete a nova direção emergente de desenvolvimento da computação local de IA. No passado, a execução de modelos grandes com centenas de bilhões de parâmetros geralmente exigia múltiplas GPUs profissionais, grandes quantidades de memória de vídeo e clusters de servidores complexos. A Apple está tentando usar uma arquitetura de memória unificada e chips de alta largura de banda para permitir que computadores desktop de última geração hospedem modelos de maior escala. Embora esta abordagem ainda seja limitada em termos de custo e desempenho de inferência, ela abre novas possibilidades para usuários que não desejam enviar todos os seus dados para a nuvem.
Para a Apple, o Muse Spark Open também ajuda a demonstrar o posicionamento do Mac Studio no campo do desenvolvimento de IA. À medida que mais e mais desenvolvedores tentam executar modelos localmente, a capacidade de memória unificada e a largura de banda tornaram-se gradualmente indicadores importantes para medir as capacidades de IA de computadores de última geração. A Apple espera que através do ecossistema M5 Ultra e MLX, o Mac não seja apenas adequado para edição de vídeo, design 3D e produção musical, mas também se torne uma plataforma local de desenvolvimento e raciocínio de IA.
Para a Meta, o lançamento de um modelo aberto e o suporte à execução em hardware da Apple ajudarão a expandir a cobertura dos desenvolvedores da série Muse. Os usuários podem escolher API em nuvem ou implantação local de acordo com suas necessidades, e o Meta também pode atrair mais desenvolvedores para construir aplicativos e ferramentas em torno do modelo.
No geral, a importância do Muse Spark Open reside não apenas no número de 816 bilhões de parâmetros, mas também no fato de demonstrar a possibilidade de combinar modelos de peso aberto em grande escala com hardware de desktop de última geração. Dois Mac Studio equipados com memória unificada de 512 GB podem fornecer cerca de 1 TB de espaço de memória para o modelo, tornando-o adequado para execução local, mas a experiência real ainda depende da velocidade de inferência, custo de hardware e otimização de software.
Esta cooperação não é suficiente para provar que os computadores pessoais comuns podem facilmente executar modelos de grande escala, mas mostra que o hardware local de IA está a desenvolver-se no sentido de uma maior capacidade de memória e de capacidades de computação colaborativa mais fortes. À medida que a arquitetura do modelo e o software de inferência continuam a ser otimizados, alguns modelos de IA que só podiam ser implantados em grandes data centers no passado poderão gradualmente entrar em estúdios, laboratórios e ambientes de desktop de desenvolvedores no futuro.
Comentários