Un grupo de Investigadores de Adobe Publicamos recientemente un artículo sobre un nuevo modelo de IA generativa llamado VideoGigaGAN y creemos que podría lanzarse en un producto futuro. Lo que hace es mejorar los vídeos de baja calidad hasta ocho veces su resolución original sin sacrificar la estabilidad ni aspectos importantes del material original. Se pueden encontrar varios clips de demostración en el sitio web del proyecto mostrando sus habilidades. Puede convertir un vídeo borroso de una cascada con una resolución de 128 x 128 píxeles en imágenes que se ejecutan con una resolución de 1.024 x 1.024 píxeles.
Publicado por @luokai
Ver en temas
Lo que llama la atención de la IA es que no escatima en los detalles más finos. La textura de la piel, las arrugas, los mechones de cabello y más son visibles en los rostros de los sujetos humanos. Las otras demostraciones también presentan un nivel de calidad similar. Podrás distinguir mejor un cisne nadando en un estanque y la flor de un árbol gracias a esta tecnología. Puede parecer extraño centrarse tanto en las arrugas de la piel o las plumas. Sin embargo, es este nivel de detalle el que a las empresas les gusta. Adobe deben concretar si su objetivo es implementar una IA que mejore las imágenes a gran escala.
Mejorando la IA
Probablemente tengas un par de preguntas sobre el último proyecto de la plataforma, como ¿cómo funciona? Bueno, es complicado.
«GAN» en VideoGigaGAN significa red generativa adversarial, un tipo de IA capaz de crear imágenes realistas. AdobeLa versión de se basa específicamente en GigaGAN que se especializa en mejorar el contenido generado y las fotografías reales. El problema con esta tecnología, como El borde señala, es que no puede mejorar la calidad de los videos sin que surjan múltiples problemas como artefactos extraños. Para resolver este problema, los investigadores de Adobe utilizaron una variedad de técnicas.
El trabajo de investigación explica todo el proceso. Puedes leerlo tú mismo para tener una visión completa, aunque es un material denso. Básicamente, introdujeron un “módulo de propagación guiado por flujo” para garantizar la coherencia entre los fotogramas de un vídeo, anti-aliasing para reducir los artefactos y un “lanzadera de funciones de alta frecuencia” para compensar las caídas repentinas de detalle. VideoGigaGAN es más que lo que acabamos de describir, pero esa es la esencia.
Inclusión potencial
¿Veremos esto en un próximo producto de Adobe o lo implementaremos como una aplicación independiente? Lo más probable es que así sea, al menos eso creemos.
El año pasado, la empresa se centró en gran medida en implementar inteligencia artificial en su software desde el lanzamiento de Luciérnaga a El nuevo asistente de Acrobat. Hace unos meses, durante Adobe MAX 2023, un escalador de vídeo conocido como Responsabilidad del proyecto Se presentó una vista previa en el evento y su rendimiento se parece a lo que vemos en las demostraciones de VideoGigaGAN. Una vieja película de la década de 1940 pasa de una resolución de imagen de 480 x 360 a una nítida resolución de 1280 x 960. Las imágenes borrosas de un elefante en un río se vuelven nítidas. El presentador incluso menciona cómo el software puede mejorar un clip hasta cuatro veces la calidad original.
Es cierto que esto es una conjetura, pero es muy posible que VideoGigaGAN sea el motor detrás de Res-Up. El futuro producto de Adobe podría brindar a las personas una forma de mejorar videos familiares antiguos o secuencias de baja calidad para convertirlos en la película que imaginamos en nuestras mentes. Quizás la vista previa reciente sea un indicio de un lanzamiento inminente.
VideoGigaGAN aún se encuentra en pleno desarrollo, por lo que se desconoce cuándo saldrá o si saldrá. Hay varios obstáculos en el camino. La IA no puede procesar correctamente vídeos de más de 200 fotogramas ni renderizar objetos pequeños, pero definitivamente lo estaremos vigilando.
Mientras tanto, consulte la lista de TechRadar de Los mejores escaladores de imágenes con IA para 2024.
