A NVIDIA anunciou que a estrutura de aceleração de inferência TensorRT AI agora está disponível em placas gráficas GeForce RTX, com desempenho diretamente o dobro do DirectML.TensorRT é um otimizador de inferência lançado pela NVIDIA, que pode melhorar significativamente a eficiência operacional dos modelos de IA. Desta vez, a NVIDIA apresenta o TensorRT à plataforma RTX, para que todos os usuários de placas gráficas RTX possam desfrutar de um desempenho de IA mais rápido.
De acordo com a NVIDIA, o TensorRT não apenas oferece suporte ao Windows ML nativo, mas também pode selecionar automaticamente o hardware apropriado para executar cada função de IA e baixar o provedor de execução correspondente, simplificando bastante o processo de desenvolvimento.
Em termos de desempenho,A NVIDIA mostrou os dados de comparação entre TensorRT e DirectML: no ComfyUI, os usuários que usam o TensorRT podem obter uma melhoria de desempenho de até 2 vezes; no DaVinci Resolve e no Vegas Pro, a melhoria de desempenho chega a 60%.
Além disso, o TensorRT para RTX traz outros benefícios, como tamanhos de arquivo de biblioteca 8x menores e otimizações dinâmicas para cada GPU. Essas melhorias não apenas melhoram o desempenho, mas também otimizam o armazenamento e o gerenciamento do software.
O TensorRT para RTX será lançado oficialmente em junho. A NVIDIA também continua a expandir seus SDKs de IA e atualmente fornece suporte para mais de 150 SDKs de IA. Cinco novas integrações ISV serão lançadas este mês, incluindo LM Studio, Topaz Video AI, Bilibili, AutoDesk VRED e Chaos Enscape.
