A NVIDIA conduziu recentemente uma análise aprofundada de sua mais recente arquitetura de GPU Rubin, demonstrando seus principais avanços na obtenção de computação em larga escala nos níveis de multi-rack, multi-sistema e data center. Como um marco importante na evolução tecnológica da empresa, este acelerador pode fornecer até 50 PetaFLOPS de poder computacional em operações NVFP4 esparsas.
Com potência total, a GPU Rubin integra até 224 multiprocessadores de streaming (SM) e 288 GB de memória HBM4. Com 336 bilhões de transistores, a Nvidia também o equipou com 896 núcleos tensores com um motor Transformer de terceira geração. Para liberar o enorme poder de computação bruto, a NVIDIA divide os recursos da GPU em clusters de processadores gráficos com cache L2 centralizado, complementados pelo mecanismo GigaThread para coordenar o fluxo de trabalho e otimizar a utilização de recursos. Além disso, o recurso de particionamento de controle MIG permite que esta GPU seja particionada em várias GPUs virtuais, o que funciona de maneira semelhante à forma como as CPUs modernas lidam com núcleos virtuais.
Em termos de configuração de memória, a Nvidia trabalhou com parceiros de memória para fornecer 288 GB de memória HBM4 por meio de módulos empilhados de 12 camadas. O controlador HBM dedicado coopera com a camada física para atingir um pico de largura de banda de memória de até 22 TB por segundo, o que é extremamente competitivo na indústria. Seu gerenciador de memória tensor foi atualizado para melhorar a eficiência da transferência de dados, enquanto a expansão vertical e a comunicação de toda a GPU são totalmente gerenciadas pelo NVLink 6. Com o NVLink 6, a largura de banda arquitetônica da comunicação da GPU totalmente interconectada atinge 3600 GB por segundo, enquanto a tecnologia de interconexão chip a chip NVLink-C2C atinge 1800 GB por segundo de largura de banda de comunicação CPU-GPU. A Nvidia também possui um switch PCIe Gen 6 integrado com largura de banda de 256 GB por segundo para troca de dados com dispositivos externos.
As comunicações de expansão são um dos principais pontos fortes da NVIDIA, permitindo que as GPUs se comuniquem de forma eficiente e contínua com outras GPUs em sistemas em escala de rack. A comunicação tradicional entre GPUs geralmente requer coordenação e sincronização, resultando em atrasos quando o sistema fica parado aguardando a transmissão de dados. Para resolver esse problema, a arquitetura Rubin introduz um mecanismo de comunicação iniciado pelo dispositivo, permitindo que cada GPU gerencie de forma independente a transmissão de dados, eliminando assim a necessidade de otimização externa e reduzindo efetivamente a latência.
Esses sistemas de alto desempenho são frequentemente acompanhados por um enorme consumo de energia, e um único rack NVL72 integra 72 GPUs. Para o sistema Vera Rubin NVL72, a NVIDIA desenvolveu uma tecnologia inteligente de suavização de energia que integra todos os componentes do sistema em um único envelope de energia fixo. Por exemplo, ao executar cargas de trabalho de inteligência artificial, os requisitos de energia podem flutuar enormemente entre estados inativos aguardando a CPU até uma GPU totalmente carregada. Através da tecnologia inteligente de suavização de energia, o consumo médio de energia do sistema Vera Rubin NVL72 é reduzido em cerca de 10% em comparação com a geração anterior Grace Blackwell NVL72, e a potência de pico de 50 milissegundos é reduzida em cerca de 20%. Sua otimização do orçamento de energia é ainda suportada pela tecnologia NVIDIA DSX MaxLPS.