Resumo:
Um novo estudo conduzido por desenvolvedores da comunidade mostra que as placas gráficas NVIDIA GeForce RTX Série 30 e RTX Série 40 escondem um potencial de computação que excede em muito as especificações oficiais. Ao desbloquear a configuração subjacente de firmware e hardware, os desenvolvedores liberaram com sucesso parte do poder de computação originalmente restrito, permitindo que alguns modelos alcançassem até quase o dobro da melhoria de desempenho em cenários de inteligência artificial e computação matricial.
De acordo com relatos, o núcleo usado nas placas gráficas de arquitetura "Ampere" da série RTX 30 é essencialmente o mesmo silício das GPUs de nível profissional da NVIDIA, mas algumas das capacidades de computação dos produtos de consumo são limitadas por políticas de software e firmware. Uma solução de desbloqueio desenvolvida por um pesquisador pode aumentar a taxa de emissão de instruções de operações FP/BF16 FMA para FP32 e é adequada para núcleos GA102, GA103, GA104 e GA106.
Em testes reais, o desempenho de multiplicação da matriz BF16 da RTX 3090 Ti foi melhorado em até cerca de 80%. Como a multiplicação de matrizes é uma operação básica importante para a execução da maioria dos modelos de redes neurais, essa melhoria tem um significado óbvio para o raciocínio local de IA e tarefas de aprendizado de máquina.
Ao mesmo tempo, outro projeto de desbloqueio para a arquitetura "Ada Lovelace" da série RTX 40 também alcançou um avanço. Esta solução atinge aproximadamente o dobro do rendimento computacional do FP16 e do Tensor BF16, mantendo a precisão de acumulação do FP32.
Tomando o RTX 4090 como exemplo, no teste de rendimento do Tensor FP16, a placa gráfica poderia atingir originalmente 165,6 TFLOPS, mas após habilitar o desbloqueio, o desempenho aumentou para 331,6 TFLOPS, quase dobrando. Este nível está próximo ou até atinge o poder de computação de alguns produtos de nível profissional, como o RTX 6000 Ada.
Os pesquisadores acreditam que isso indica que o núcleo AD102 tem limitações de computação artificial em produtos de consumo, especialmente em áreas-chave da computação de IA, como multiplicação e acumulação de matrizes. Essas limitações afetarão diretamente a eficiência operacional de aplicações de IA, como modelos de linguagem de grande porte. Atualmente, o projeto de desbloqueio foi confirmado para suportar os modelos principais AD102, AD103 e AD106.
Vale ressaltar que duas soluções de desbloqueio para as séries RTX 30 e RTX 40 apareceram quase ao mesmo tempo, abrangendo as duas gerações de arquiteturas de GPU Ampere e Ada Lovelace, respectivamente. O desenvolvedor afirmou que essas modificações podem passar pelo mecanismo de verificação completo do driver NVIDIA e contornar com êxito as restrições de redefinição de nível de função (FLR) PCIe. Portanto, o driver original oficial ainda pode ser usado e o software de teste relacionado ao CUDA pode ser executado normalmente.
Os dados de teste mostram que as placas gráficas GA102 e AD102 mantêm o mesmo limite de consumo de energia antes e depois do desbloqueio. Por exemplo, sob a configuração de consumo total de energia da placa de 450 W, a melhoria de desempenho vem inteiramente da potência de computação liberada, e não de aumentos adicionais no consumo de energia ou na frequência.
Para usuários que usam modelos locais de linguagem grande, IA generativa e outras tarefas de computação de alta intensidade, o poder adicional de computação do Tensor liberado pode melhorar a eficiência do pré-processamento de palavras imediatas e dos estágios de inferência, alcançando assim maior rendimento de token e velocidade de resposta mais rápida.
No entanto, o desenvolvedor também lembra que tais modificações não são oficiais e podem invalidar a garantia da placa gráfica. Além disso, os módulos relevantes precisam ser carregados primeiro durante a fase de inicialização do sistema para que a operação de desbloqueio possa ser concluída antes que o driver NVIDIA assuma o controle da GPU. Portanto, esse tipo de solução é mais indicada para usuários avançados que possuem determinadas capacidades técnicas e estão dispostos a correr riscos.
Comentários