Nvidia Video Super Resolution — Nvidia VSR — torna-se oficialmente disponível ao público hoje. Primeiro visualizado na CES 2023, e não confundir com o VSR (Virtual Super Resolution) da AMD, o Nvidia VSR pretende fazer para o vídeo o que sua tecnologia DLSS faz para os jogos. Bem, mais ou menos. Você precisará de uma das melhores placas gráficas da Nvidia para iniciantes, ou seja, uma GPU RTX série 30 ou 40. Claro, você também deseja definir suas expectativas de forma adequada.
Até agora, todos devem estar bastante familiarizados com alguns dos modelos de aprendizado profundo e IA que podem realizar. Seja na geração de arte de texto para imagem com Stable Diffusion e similares, ChatGPT respondendo a perguntas e escrevendo artigos, carros autônomos ou qualquer outra possibilidade, a IA está se tornando parte de nossas vidas cotidianas.
O resumo básico do algoritmo deve parecer familiar para qualquer pessoa com conhecimento de DLSS. Pegue um monte de imagens emparelhadas, com cada par contendo uma versão de baixa resolução e menor taxa de bits de um quadro de vídeo de maior resolução (e qualidade superior), e execute-o por meio de um algoritmo de treinamento de aprendizado profundo para ensinar a rede como melhorar e aprimorar de maneira ideal quadros de entrada de qualidade inferior em saídas de melhor aparência. Existem muitas diferenças entre VSR e DLSS, é claro.
Por um lado, o DLSS obtém dados diretamente do mecanismo do jogo, incluindo o quadro atual, vetores de movimento e buffers de profundidade. Isso é combinado com o(s) quadro(s) anterior(es) e a rede AI treinada para gerar quadros melhorados e anti-aliasing. Com o VSR, não há buffer de profundidade pré-computado ou vetores de movimento, então tudo precisa ser feito com base apenas nos quadros de vídeo. Embora em teoria o VSR possa usar os dados do quadro atual e anterior, parece que a Nvidia optou por uma abordagem de aumento de escala espacial puro. Mas sejam quais forem os detalhes exatos, vamos falar sobre como fica.
A Nvidia forneceu um vídeo de amostra mostrando a saída antes e depois do VSR. Se você quiser os originais, aqui está o 1080p aprimorado via amostragem bilinear fonte e o 4K VSR aprimorado versão – hospedada em uma conta pessoal do Drive, então veremos como isso funciona. (Envie-me um e-mail se não conseguir baixar os vídeos por exceder o limite de largura de banda.)
Vamos contornar possíveis problemas de direitos autorais e não incluir vários de nossos próprios vídeos, embora tenhamos capturado algumas capturas de tela da saída resultante de algumas transmissões esportivas para mostrar como funciona em outro conteúdo. O que podemos dizer é que vídeos lentos (como as amostras da Nvidia) fornecem os melhores resultados, enquanto coisas mais rápidas, como esportes, são mais difíceis, pois as mudanças quadro a quadro podem ser bastante significativas. Mas, em geral, o VSR funciona muito bem. Aqui está uma galeria de algumas capturas de tela de comparação (capturadas via Nvidia ShadowPlay).
Todas essas imagens são 4K JPG, com qualidade máxima – não sem perdas, mas não podemos exceder 10 MB e, portanto, foi necessária uma leve compactação. Você ainda pode ver claramente as diferenças entre o upscaling normal (no Chrome) e o upscaling VSR. não é um maciço melhora em qualquer uma das amostras de esportes, mas definitivamente há algum aprimoramento e desbloqueio que, pelo menos em nossa visão subjetiva, parece melhor.
Obviamente, VSR não pode fazer milagres. Começar com uma fonte de 720p e aumentar para 4K (9x upscale) será mais difícil do que ir de 1080p para 4K (4x upscaling). E o upscale de 480p para 4K (upscale de 20,25x!) Ainda está faltando uma tonelada de detalhes, como se você não pudesse ver os fios da rede no conteúdo VSR ou não VSR. Mesmo o logotipo do Tottenham Hotspurs no canto superior direito parece muito melhor na amostra de 720p do que no upscaling de 480p (desculpe pela sobreposição em uma imagem).
A boa notícia: se você possui uma placa de vídeo RTX série 30 ou 40, pode baixar os drivers Nvidia mais recentes e experimentar o VSR. Você também precisará do navegador Chrome ou Edge mais recente, pelo menos por enquanto. Mas com o software apropriado, o VSR parece funcionar em todos os vídeos que testamos até agora.
A má notícia: os usuários da série RTX 20 são deixados de fora, pelo menos por enquanto. Perguntamos sobre esse requisito e ainda não temos uma resposta precisa sobre a omissão. É possível que a Nvidia tenha treinado a rede para seus núcleos Tensor com esparsidade, o que significa que atualmente só pode ser executado em arquiteturas Ampere e posteriores. Mas parece que poderia facilmente ter optado pela compatibilidade Turing desde o início, se quisesse, porque a carga de trabalho computacional real parece relativamente pequena.
Para mostrar isso, testamos o VSR na mesma sequência de vídeo – o jogo NHL 720p aprimorado para 4K – em dois extremos diferentes do espectro VSR, com as configurações VSR Quality 1 e VSR Quality 4. Na parte superior, temos a RTX 4090 Founders Edition, enquanto na parte inferior temos a EVGA RTX 3050. A 4090 tem computação teórica de 661 teraflops FP16, com esparsidade. O RTX 3050 inclina a balança para apenas 73 teraflops, novamente com esparsidade. Na prática, os dois cartões pareciam iguais. Mais importante, capturamos dados de energia apenas para as placas gráficas, o que é revelador.
GPU | VSR desligado | VSR Ligado (1) | VSR Ligado (4) |
---|---|---|---|
RTX 4090 (Watts) | 28.9 | 32,8 | 36,9 |
RTX 3050 (Watts) | 13,0 | 15.9 | 15.9 |
Claramente, nenhuma das GPUs está sendo pressionada remotamente pelo algoritmo VSR. O 4090 usa 4 W a mais de potência com a qualidade VSR em 1 e 8 W a mais de potência com VSR 4. O RTX 3050, em contraste, precisava de apenas 3 W a mais de potência para qualquer configuração de VSR. Isso significa que os núcleos do Tensor não estão nem perto do máximo, em nenhuma das GPUs, o que também significa que, mesmo se você tiver um RTX 3050 móvel com 4 GB de VRAM, ainda poderá executar o VSR.
No geral, é uma abordagem interessante ao aprimoramento de vídeo. Existem muitos outros algoritmos que não usam aprendizado de máquina que também foram tentados para upscaling e aprimoramento, e alguns podem ser capazes de corresponder ao VSR, mas eles não são suportados apenas baixando os drivers Nvidia mais recentes e as atualizações do navegador Chrome .
No que diz respeito ao que você precisa fazer para ativar o VSR, é uma alternância nos drivers mais recentes (recebemos acesso antecipado aos drivers 531.14 da Nvidia para fins desta análise). Marque a caixa “Super resolução” em Aprimoramento de vídeo RTX e selecione a qualidade desejada. A Nvidia diz que configurações de qualidade mais alta podem sobrecarregar sua GPU; portanto, talvez, se você estiver assistindo a um fluxo de vídeo em um segundo monitor enquanto joga, deva manter uma configuração mais baixa. No entanto, se você estiver apenas assistindo a um vídeo, é melhor se concentrar e definir a qualidade para 4.