Los investigadores de Adobe han desarrollado un nuevo modelo de IA generativa llamado VideoGigaGAN que puede mejorar videos borrosos hasta ocho veces su resolución original. Presentado en un artículo publicado el 18 de abril, Adobe afirma que VideoGigaGAN es superior a otros métodos de súper resolución de video (VSR), ya que puede proporcionar más detalles sin introducir ninguna «rareza de IA» en el metraje.
En pocas palabras, las Redes Generativas Adversarias (GAN) son efectivas para escalar imágenes fijas a una resolución más alta, pero tienen dificultades para hacer lo mismo con videos sin introducir parpadeos y otros artefactos no deseados. Otros métodos de ampliación pueden evitar esto, pero los resultados no son tan nítidos ni detallados. VideoGigaGAN tiene como objetivo ofrecer lo mejor de ambos mundos: la mayor calidad de imagen/vídeo de los modelos GAN, con menos problemas de parpadeo o distorsión en los fotogramas de salida. La empresa ha proporcionado aquí varios ejemplos que muestran su trabajo en máxima resolución.
Algunos de los detalles más finos en los clips de demostración que Adobe proporcionó parecen ser completamente artificiales, como la textura de la piel y los pliegues, pero los resultados parecen impresionantemente naturales. Sería difícil decir que se utilizó IA generativa para mejorar la resolución, lo que podría ampliar el debate sobre “qué es una fotografía” para incluir el vídeo.
Esto es solo una vista previa de la investigación, por lo que no hay garantía de que Adobe ponga VideoGigaGAN a disposición de los consumidores a través del software Creative Cloud como Premiere Pro. La compañía presentó previamente un experimento de muestreo ascendente basado en difusión, Project Res-Up, durante su evento MAX en octubre de 2023, que mejora de manera similar la calidad de los GIF y secuencias de video de baja resolución. Y Adobe no está solo en este trabajo, ya que tanto Microsoft como Nvidia también han desarrollado su propia tecnología de ampliación de VSR.
Fuente: The Verge | Jess Weatherbed
Para leer más ingresa a: https://www.theverge.com/2024/4/24/24138979/adobe-videogigagan-ai-video-upscaling-project-blurry-hd