La mayoría de las funciones y experimentos nuevos que Adobe ha anunciado recientemente involucran IA, como adición y eliminación de objetos para Premiere Pro y generación de imágenes basada en texto en Photoshop. Ahora, la compañía ha dado a conocer VídeoGigaGANuna función experimental de IA que, según dice, puede mejorar el vídeo ocho veces sin los artefactos habituales como parpadeo o distorsión. El borde informó.
VideoGigaGAN supera a otros métodos de superresolución de vídeo (VSR) porque evita los artefactos y parpadeos habituales introducidos por GAN (General Adversarial Networks), según Adobe. Al mismo tiempo, agrega nitidez y detalle, algo que la mayoría de los otros sistemas no logran hacer ambas cosas a la vez.
Por supuesto, el sistema está inventando detalles que no existen de la nada, por lo que esto no sería adecuado para cosas como la mejora de vídeo forense, a la Programas policiales al estilo CSI. Pero los detalles que añade parecen impresionantemente reales, como texturas de la piel, pelos finos, detalles de plumas de cisne y más.
Según los investigadores de Adobe, el modelo se basa en un muestreador de imágenes a gran escala llamado GigaGAN. Los modelos VSR anteriores han tenido dificultades para generar detalles ricos en los resultados, por lo que Adobe combinó «atención temporal» (reduciendo los artefactos que se acumulan con el tiempo), propagación de características (agregando detalles donde no existen), anti-aliasing y algo llamado «lanzadera HF» (desplazamiento características de alta frecuencia) para crear el resultado final.
Si se agrega a productos como Premiere Pro o After Effects, podría permitir a los productores de video hacer que las tomas de baja resolución se vean mucho mejor, aunque usar IA también mejora a las personas es una práctica controvertida. Aún no se sabe si Adobe planea hacer esto, pero muchas empresas (NVIDIA, Microsoft, Blackmagic Design y otras) también están trabajando en escaladores.