Resumo:
Groq, uma empresa de chips de inferência de IA que foi adquirida pela NVIDIA, está planejando introduzir a tecnologia DRAM empilhada 3D em seus produtos LPU (unidade de processamento de linguagem) de próxima geração para substituir a solução SRAM atualmente amplamente usada. Este ajuste significa que a empresa se concentrará mais no aumento da capacidade de armazenamento de chips no futuro para se adaptar à crescente procura por modelos de inteligência artificial em grande escala.
No início deste ano, a NVIDIA anunciou o produto de rack Groq LPX e o incluiu no ecossistema Vera Rubin para melhorar o desempenho de inferência de IA. O rack entrou em produção em massa total em agosto deste ano. De acordo com os primeiros resultados dos testes, ao trabalhar em conjunto com o servidor NVL72, o sistema pode atingir uma velocidade de inferência de 3.400 Tokens por segundo, estabelecendo um novo recorde de desempenho.
A geração atual de LPU Groq foi projetada com 500 MB de SRAM e tem largura de banda de memória de até 150 TB/s. No rack LPX, o sistema é configurado com 256 desses chips, fornecendo um total de 128 GB de capacidade SRAM e 640 TB/s de capacidade de largura de banda expandida. Uma única LPU Groq pode fornecer cerca de 1,20 PFLOPs de poder de computação FP8.
Mas para a próxima geração de produtos, a Groq está se preparando para seguir um caminho completamente diferente. A empresa planeja abandonar sua dependência exclusivamente da SRAM e, em vez disso, adotar a DRAM e combiná-la com a tecnologia de empacotamento 3D Stacked (3D empilhado) para criar uma nova arquitetura. Comparada com a SRAM, a maior vantagem da DRAM é que ela pode fornecer capacidade de armazenamento muito maior do que a SRAM, mas às custas de largura de banda e velocidade de acesso relativamente baixas.
Uma fonte da indústria de semicondutores disse que a Groq tem planos de introduzir a tecnologia de empacotamento 3D na próxima geração de chips, e o objeto de empilhamento mudará da SRAM existente para a DRAM. A mudança é amplamente interpretada na indústria como o desejo da Groq de aumentar significativamente a capacidade de armazenamento de chips. Embora a SRAM seja extremamente rápida, a sua expansão de capacidade é limitada; em comparação, embora a DRAM seja mais lenta, é mais adequada para a construção de sistemas de armazenamento em grande escala.
Usando a tecnologia de empilhamento 3D, a Groq pode empilhar múltiplas camadas de DRAM em um único chip de estrutura vertical e utilizar a tecnologia TSV (Through Silicon Via) para obter conexões entre camadas. Este conceito de design é muito semelhante ao modo como a atual memória de alta largura de banda HBM é implementada. Em comparação com as embalagens DRAM tradicionais, a solução de empilhamento 3D pode não apenas aumentar significativamente a densidade de armazenamento por unidade de área, mas também melhorar a eficiência energética e reduzir os requisitos de espaço.
A julgar pelas informações divulgadas até agora, o foco da atualização do produto da Groq obviamente mudou para a capacidade de armazenamento, embora ainda espere reter, tanto quanto possível, algumas das vantagens de alta largura de banda trazidas por sua arquitetura SRAM. À medida que a escala dos modelos generativos de IA continua a aumentar, a necessidade de memória de grande capacidade e alta velocidade continua a crescer, de modo que se espera que a nova geração de chips Groq seja mais amplamente utilizada.
O relatório também mencionou que a Groq não pode abandonar completamente a SRAM no futuro, mas desenvolverá linhas de produtos DRAM e SRAM em paralelo para fornecer soluções diferenciadas de acordo com os diferentes cenários de aplicação. Para a NVIDIA, que está construindo fábricas e plataformas de IA, espera-se que esse tipo de chip de inferência de maior capacidade desempenhe um papel mais importante no futuro.
Comentários