Google está dando otra oportunidad a la generación de texto a video con Lumiere, un nuevo modelo de inteligencia artificial capaz de crear contenido de calidad sorprendentemente alta.
Sin duda, el gigante tecnológico ha recorrido un largo camino desde los días de Imagen Video. Sujetos en Vídeos de Lumière Ya no son estas criaturas de pesadilla con rostros derretidos. Ahora las cosas parecen mucho más realistas. Las tortugas marinas parecen tortugas marinas, el pelaje de los animales tiene la textura adecuada y las personas en los clips de IA tienen sonrisas genuinas (en su mayor parte). Es más, hay muy poco del extraño movimiento entrecortado que se ve en otras IA generativas de texto a video. El movimiento es en gran medida suave como la mantequilla. Inbar Mosseri, líder del equipo de investigación en Google Investigación, publicó un vídeo en su canal de YouTube. demostrando las capacidades de Lumiere.
Google trabajó mucho para que el contenido de Lumiere pareciera lo más realista posible. El equipo de desarrollo logró esto implementando algo llamado arquitectura Space-Time U-Net (STUNet). La tecnología detrás de STUNet es bastante compleja. Pero como Ars Technica explicale permite a Lumiere comprender dónde están los objetos en un video, cómo se mueven y cambian, y renderiza estas acciones al mismo tiempo, lo que da como resultado una creación fluida.
Esto va en contra de otras plataformas generativas que primero establecen fotogramas clave en los clips y luego llenan los espacios vacíos. Hacerlo da como resultado el movimiento entrecortado por el que se conoce a la tecnología.
Bien equipado
Además de la generación de texto a vídeo, Lumiere tiene numerosas funciones en su conjunto de herramientas, incluido el soporte para multimodalidad.
Los usuarios podrán cargar imágenes o vídeos originales a la IA para que pueda editarlos según sus especificaciones. Por ejemplo, puedes subir una imagen de La chica del pendiente de perla de Johannes Vermeer y convertirlo en un clip corto donde ella sonríe en lugar de mirar fijamente. Lumiere también tiene una habilidad llamada Cinemagraph que puede animar partes resaltadas de imágenes.
Google lo demuestra seleccionando una mariposa posada sobre una flor. Gracias a la IA, el vídeo de salida muestra a la mariposa batiendo sus alas mientras las flores a su alrededor permanecen estacionarias.
Las cosas se vuelven particularmente impresionantes cuando se trata de vídeo. Video Inpainting, otra característica, funciona de manera similar a Cinemagraph en el sentido de que la IA puede editar partes de clips. El vestido verde estampado de una mujer se puede convertir en dorado o negro brillante. Lumiere va un paso más allá al ofrecer estilización de vídeo para modificar los temas del vídeo. Un coche normal que circula por la carretera se puede convertir en un vehículo hecho enteramente de madera o de ladrillos Lego.
Todavía en proceso
Se desconoce si hay planes de lanzar Lumiere al público o si Google pretende implementarlo como un nuevo servicio.
Quizás podríamos ver la IA aparecer en un futuro teléfono Pixel como evolución del editor mágico. Si no está familiarizado con él, Magic Editor utiliza “procesamiento de IA [to] inteligentemente” cambiar espacios u objetos en fotografías en el Píxel 8. Video Inpainting, para nosotros, parece una progresión natural para la tecnología.
Por ahora, parece que el equipo lo mantendrá a puerta cerrada. Por muy impresionante que pueda ser esta IA, todavía tiene sus problemas. Hay animaciones entrecortadas. En otros casos, los sujetos tienen extremidades deformadas. Si desea saber más, puede encontrar el artículo de investigación de Google sobre Lumiere en Sitio web arXiv de la Universidad de Cornell. Atención: es una lectura densa.
Y asegúrese de consultar el resumen de TechRadar sobre Los mejores generadores de arte con IA para 2024.