Resumo:
A Framework abriu oficialmente as pré-encomendas do novo Framework Desktop equipado com o processador AMD Ryzen AI Max+ PRO 495 em 30 de setembro. Embora este minicomputador desktop para computação de IA local tenha um preço extremamente alto, com a versão DIY a partir de US$ 6.799, o primeiro lote de produtos foi rapidamente esgotado poucas horas depois de ser colocado on-line, mostrando que há uma forte demanda por memória unificada de grande capacidade para executar localmente grandes modelos de IA.
A configuração principal lançada pelo Framework usa AMD Ryzen AI Max+ PRO 495, um processador de nova geração de codinome "Gorgon Halo", e está equipada com memória unificada LPDDR5X-8533 de 192 GB. Em comparação com a configuração máxima do Framework Desktop anterior de 128 GB, a nova versão adiciona 64 GB de memória por vez, permitindo carregar diretamente modelos de IA locais em grande escala em uma única máquina, sem a necessidade de colocar frequentemente alguns pesos de modelo em SSDs ou formar um cluster através de vários computadores.
Ryzen AI Max+ PRO 495 usa uma CPU Zen 5 de 16 núcleos com frequência de aceleração máxima de 5,2 GHz, equipada com cache de nível 3 de 64 MB, TDP padrão de 55 W, cTDP de até 120 W e uma GPU Radeon 8065S integrada. A CPU e a GPU compartilham memória unificada, o que é uma das razões importantes pelas quais este produto é particularmente adequado para inferência de IA local. Framework disse que 192 GB de memória permitem aos usuários executar modelos grandes que antes eram difíceis de carregar totalmente na memória em PCs comuns.
Comparado com o Ryzen AI Max+ 395 anterior, o PRO 495 não apenas aumenta a capacidade de memória, mas também tem frequências de clock de CPU e GPU mais altas e aumenta a taxa de memória unificada para 8.533 MT/s. Framework disse que essas mudanças podem melhorar ainda mais a velocidade de inferência da IA.
A versão de 192 GB fornecida pelo Framework desta vez inclui a edição DIY e a versão host completa do sistema pré-instalado. A edição DIY começa em US$ 6.799 e inclui 192 GB de memória unificada, mas sem armazenamento pré-instalado. Para usuários que já possuem um SSD ou desejam escolher sua própria solução de armazenamento, esta configuração pode reduzir alguns custos.
Se você escolher a versão completa pré-instalada, o preço chega a US$ 7.449. Esta versão adiciona um SSD NVMe PCIe 4.0 de 2 TB e vem pré-instalado com o sistema operacional Fedora 44 KDE Plasma Edition. Em outras palavras, apenas adicionando SSD de 2 TB e sistema pré-instalado, o preço da máquina inteira é US$ 650 maior que a versão DIY.
Para efeito de comparação, o atual Framework Desktop com Ryzen AI Max+ 395 e 128 GB de memória custa aproximadamente US$ 3.449. A nova versão de 192 GB tem 50% mais memória e um processador atualizado, mas a versão DIY é quase duas vezes mais cara que a versão original de 128 GB.
Um preço tão alto está diretamente relacionado à recente tensão contínua no mercado de memórias. Framework já afirmou muitas vezes que o custo da memória LPDDR5X de alta capacidade está aumentando significativamente, especialmente o fornecimento restrito de partículas de memória de alta densidade de 128 Gbit, o que tem um impacto muito óbvio no custo de dispositivos de memória unificada de grande capacidade. O preço desta versão de 192GB é, portanto, muito superior ao da configuração regular anterior do Framework Desktop.
Na verdade, a Framework declarou antes do produto ser oficialmente aberto para pré-encomenda que, devido ao estoque limitado de memória, ele só seria capaz de fornecer inicialmente um lote de sistemas Gorgon Halo de 192 GB. Depois que as pré-encomendas começaram em 30 de setembro, o primeiro lote de produtos esgotou rapidamente. Framework disse mais tarde que a empresa conseguiu garantir um lote adicional de memória, então abriu um segundo lote limitado de pré-encomendas.
O segundo lote de produtos deverá ser enviado a partir de novembro. No entanto, a Framework também lembra aos consumidores que o preço e o tempo de lançamento no mercado dos próximos lotes de produtos dependerão do custo e da oferta dos fornecedores de memória. A empresa ainda deixou claro que o preço do Framework Desktop pode continuar subindo nos próximos meses.
Para usuários locais de IA, a memória unificada de 192 GB é a maior atração desta máquina. Os PCs tradicionais geralmente dependem de memória de placa gráfica independente para executar grandes modelos de IA, enquanto a capacidade de memória das GPUs de última geração geralmente é limitada por uma única placa. Se o modelo não puder ser completamente colocado na memória de vídeo, a memória do sistema ou mesmo SSD deverá ser usada para troca de dados, e o desempenho poderá ser significativamente afetado.
O Framework Desktop adota uma arquitetura na qual CPU, GPU e computação de IA compartilham uma memória unificada, que pode alocar diretamente uma grande quantidade de memória para a GPU. A capacidade de 192 GB significa que os usuários podem executar modelos locais muito grandes em um pequeno computador de cerca de 4,5 litros. Framework disse que os 64 GB adicionais de memória podem não apenas carregar um modelo único maior, mas também salvar dois modelos menores na memória ao mesmo tempo, permitindo que um modelo mais rápido seja responsável pelas interações principais e deixando outro modelo mais capaz, mas mais lento, assumir problemas complexos.
Framework também enfatiza especificamente que esta configuração é atraente para usuários que desejam executar IA completamente localmente. O modelo pode permanecer no dispositivo local sem enviar os dados para a nuvem. Para cenários que envolvem privacidade, código-fonte ou dados comerciais confidenciais, a operação local pode reduzir a dependência de serviços de IA em nuvem.
No entanto, 192 GB de memória unificada não significa que todos os 300 bilhões de modelos em nível de parâmetro possam ser executados em alta velocidade. O tamanho do modelo, o método de quantização, o comprimento do contexto e o consumo real de memória afetam o desempenho final. A memória de grande capacidade resolve o problema de "o modelo pode ser instalado", e a velocidade de inferência do modelo também depende do poder de computação da GPU, da largura de banda da memória e da otimização do software.
O volume total do Framework Desktop é de apenas 4,5 litros, portanto esta máquina está mais próxima de uma estação de trabalho local de IA muito pequena do que um mini PC comum no sentido tradicional. Além da computação de IA, ele também pode realizar tarefas como jogos, desenvolvimento e trabalho em desktop Linux, e o Framework continua a enfatizar seu conceito de design modular.
Atualmente, o Framework Desktop já oferece diferentes configurações de memória, como 32 GB, 64 GB e 128 GB, e a versão de 192 GB se tornou o modelo carro-chefe de toda a linha de produtos para usuários locais de IA. À medida que a AMD continua a melhorar sua capacidade de memória unificada e capacidades de computação de IA, essa arquitetura "CPU+GPU+memória compartilhada de grande capacidade" também está se tornando uma rota importante para a execução local de grandes modelos de linguagem.
O primeiro lote de Framework Desktop de 192 GB esgotou rapidamente, apesar do preço inicial de US$ 6.799, indicando que alguns desenvolvedores de IA e entusiastas de modelos locais têm uma demanda muito forte por dispositivos de memória unificada de grande capacidade. No entanto, o primeiro lote de produtos é limitado pela oferta de memória, pelo que a lotação esgotada não representa diretamente a escala geral da procura em todo o mercado. A verdadeira chave para determinar se este produto pode ser ainda mais popularizado continua sendo os preços futuros da memória, a oferta e a demanda por hardware local para modelos de IA em larga escala.
Comentários