Resumo:
A Sony apresentou recentemente uma nova patente de tecnologia de inteligência artificial, que propõe usar IA para prever o próximo quadro do jogo antes que a placa gráfica conclua a renderização, reduzindo assim o atraso da tela e tentando evitar problemas adicionais de atraso causados por algumas tecnologias existentes de geração de quadros. De acordo com a descrição da patente, o sistema pode gerar uma imagem prevista antecipadamente com base no quadro renderizado mais recentemente e nas informações de entrada do controlador mais recentes do jogador, e exibi-la ao jogador antes que o próximo quadro seja oficialmente renderizado.
Esta tecnologia visa principalmente uma falha no atual esquema de geração de quadros parciais. Muitas soluções existentes requerem a obtenção de dois quadros completos antes de poderem calcular e gerar o quadro interpolado entre eles, e o processo de espera pela conclusão do segundo quadro introduz atrasos adicionais. O novo método da Sony tenta saltar esta fase de espera e utilizar diretamente as imagens existentes para prever imagens futuras, em vez de interpolar entre dois fotogramas.
Teoricamente, espera-se que esse método mantenha uma saída de imagem mais suave quando a carga de renderização aumenta e a taxa de quadros cai. No entanto, o documento de patente não fornece resultados de testes de desempenho específicos, pelo que o seu impacto real na melhoria da latência e na qualidade final da imagem continua por verificar.
Do ponto de vista da implementação técnica, a Sony projetou uma arquitetura de codificador e decodificador treinada em conjunto. O codificador é responsável por converter a imagem renderizada em uma representação numérica compacta, um vetor de incorporação; o decodificador então gera uma imagem prevista com base nesses dados.
Enquanto o jogo estiver em execução, o sistema funcionará em sincronia com o pipeline de renderização gráfica. Quando o hardware está renderizando o próximo quadro, a IA processa o quadro anterior ao mesmo tempo e envia os resultados da previsão para o buffer de exibição. Dessa forma, o quadro previsto pode ser exibido antes que o quadro renderizado real seja concluído, preenchendo a lacuna de renderização.
A patente também menciona que o modelo pode usar vetores de movimento e os dados de entrada mais recentes do controlador para melhorar a precisão da previsão. Os vetores de movimento podem refletir a direção do movimento e a velocidade dos objetos na imagem, enquanto as operações principais podem refletir as últimas intenções comportamentais do jogador. Ambos podem fornecer à IA mais informações do que apenas o quadro anterior.
A fase de treinamento usa quadros de vídeo contínuos como fonte de dados. A rede neural primeiro inicia o treinamento com pesos aleatórios, recebe um quadro de imagem como entrada e tenta prever o próximo quadro, depois compara os resultados da previsão com os quadros reais subsequentes, mede o erro através do valor da perda e otimiza continuamente o modelo.
De acordo com a descrição da patente, o sistema detectará continuamente se o valor da perda atinge o limite definido durante o processo de treinamento. Como o próprio vídeo contínuo pode fornecer imagens de referência reais, todo o processo de treinamento não requer anotação manual de dados. Além disso, o decodificador emite mais canais de cores do que o codificador recebe, o que significa que o sistema terá a capacidade de gerar vários quadros previstos de uma só vez no futuro.
Além da solução de IA, a Sony também propôs uma alternativa de inteligência não artificial. Este esquema gera quadros sintéticos movendo blocos de pixels com base em informações de movimento sem usar modelos treinados de codificadores e decodificadores. O documento de patente também afirma que se espera que essas tecnologias evitem a redução da qualidade da imagem, mantendo uma taxa de saída de quadros fixa, mas ainda não se sabe se os quadros gerados podem realmente alcançar efeitos visuais semelhantes à renderização nativa.
Os especialistas do setor acreditam que o principal teste dessa tecnologia é se a IA pode gerar com precisão as imagens previstas em uma velocidade rápida o suficiente e preencher as vagas de exibição em tempo hábil quando o desempenho da renderização diminui. A patente mostra uma ideia viável, mas seu efeito real ainda precisa ser verificado por futuras demonstrações de produtos ou tecnologias.
Comentários