Resumo:
De acordo com os desenvolvedores do projeto, a função de interpolação de quadros acelerada por GPU da Nvidia foi integrada ao FFmpeg por meio da API Vulkan. FFmpeg é um conjunto de ferramentas de software amplamente utilizado que oferece suporte a um grande número de plataformas, serviços e aplicativos modernos de processamento de multimídia, incluindo o YouTube.
Com esse novo recurso, o FFmpeg pode chamar a placa gráfica NVIDIA GeForce RTX para prever e gerar o próximo quadro sem passar pelo processo tradicional de renderização gráfica. A NVIDIA está estendendo esse recurso à codificação de vídeo, permitindo aos usuários aumentar as taxas de quadros de vídeo por meio da tecnologia de geração de quadros. O acelerador de fluxo óptico (NVOFA) nas placas gráficas NVIDIA aplica a lógica de fluxo óptico usada na renderização gráfica ao vídeo, prevê o próximo quadro e melhora a taxa de quadros do vídeo por meio de quadros intermediários gerados por inteligência artificial. A NVIDIA chama esse processo de "Conversão para aumento de taxa de quadros assistida por mecanismo (FRUC)".
FRUC não é apenas um algoritmo de suavização de imagem no sentido tradicional. Ele usa o acelerador de fluxo óptico dedicado da NVIDIA para calcular informações de movimento entre quadros de origem consecutivos. NVENC é responsável por fornecer dados de quadro no lado da codificação, e o hardware de fluxo óptico gera vetores de movimento que descrevem o movimento dos objetos na imagem. O FFmpeg pode então sintetizar quadros intermediários com base nessas informações de movimento, aumentando efetivamente a taxa de quadros do vídeo sem renderizar novamente o conteúdo original.
Este esquema também é mais eficiente do que a interpolação de quadros implementada por software. A interpolação pura de software normalmente impõe demandas computacionais significativamente maiores à CPU. A nova implementação do Vulkan permite que o FFmpeg acesse diretamente o hardware NVIDIA, evitando dependências de software proprietário que fizeram com que os patches anteriores enviados em 2023 não fossem incorporados ao projeto.
A NVIDIA lançou originalmente o acelerador de fluxo óptico na era da arquitetura "Turing" da série GeForce RTX 20. No entanto, a implementação atual baseada na API Vulkan suporta oficialmente apenas GeForce RTX série 30 “Ampere” e modelos mais recentes. Portanto, este novo recurso está disponível para usuários de placas gráficas das séries GeForce RTX 30, RTX 40 e RTX 50.
Através da interpolação de quadros assistida por GPU, a taxa de quadros do vídeo pode ser duplicada: o vídeo de 30 quadros pode ser exibido em 60 quadros, e o vídeo de 24 quadros comum em filmes pode ser aumentado para 48 quadros. Os usuários só precisam executar a ferramenta FFmpeg localmente para usar este recurso.
Comentários