Adobe lanzó capacidades de generación de video para su plataforma Firefly AI antes de su evento Adobe MAX el lunes. A partir de hoy, los usuarios pueden probar el generador de vídeo de Firefly por primera vez en Adobe. sitio webo pruebe su nueva función de vídeo impulsada por IA, Generative Extend, en la aplicación beta de Premiere Pro.
En el sitio web de Firefly, los usuarios pueden probar un modelo de texto a video o un modelo de imagen a video, ambos produciendo hasta cinco segundos de video generado por IA. (La versión beta web es de uso gratuito, pero probablemente tenga límites de velocidad).
Adobe dice que entrenó a Firefly para crear contenido animado y medios fotorrealistas, dependiendo de las especificaciones de un mensaje. Firefly también es capaz de producir vídeos con texto, al menos en teoría, algo que los generadores de imágenes de IA históricamente han luchado por producir. La aplicación web de video Firefly incluye configuraciones para alternar panorámicas de la cámara, la intensidad del movimiento de la cámara, el ángulo y el tamaño de la toma.
En la aplicación beta de Premiere Pro, los usuarios pueden probar la función Generative Extend de Firefly para ampliar los videoclips hasta en dos segundos. La función está diseñada para generar un ritmo adicional en una escena, continuando el movimiento de la cámara y los movimientos del sujeto. El audio de fondo también se ampliará: la primera prueba del público del modelo de audio de IA en el que Adobe ha estado trabajando silenciosamente. Sin embargo, el extensor de audio de fondo no recreará voces ni música para evitar demandas por derechos de autor por parte de los sellos discográficos.
En demostraciones compartidas con TechCrunch antes del lanzamiento, la función Generative Extend de Firefly produjo videos más impresionantes que su modelo de texto a video y parecía más práctica. El modelo de texto a video e imagen a video no tiene el mismo brillo o factor sorpresa que los competidores de Adobe en video AI, como Gen-3 Alpha de Runway o Sora de OpenAI (aunque es cierto que este último aún tiene que barco). Adobe dice que se centró más en las funciones de edición de IA que en la generación de videos de IA, lo que probablemente complacerá a su base de usuarios.
Las funciones de inteligencia artificial de Adobe deben lograr un delicado equilibrio con su audiencia creativa. Está tratando de liderar en un espacio abarrotado de nuevas empresas de inteligencia artificial y empresas de tecnología que muestran impresionantes modelos de inteligencia artificial. Por otro lado, muchos creativos no están contentos de que las funciones de inteligencia artificial pronto reemplacen el trabajo que han realizado con el mouse, el teclado y el lápiz óptico durante décadas. Es por eso que la primera función de video Firefly de Adobe, Generative Extend, utiliza IA para resolver un problema existente para los editores de video (su clip no es lo suficientemente largo) en lugar de generar videos nuevos desde cero.
«Nuestra audiencia es la audiencia con mayor número de píxeles perfectos en la Tierra», dijo el vicepresidente de IA generativa de Adobe, Alexandru Costin, en una entrevista con TechCrunch. “Quieren que la IA les ayude a ampliar los activos que tienen, crear variaciones de ellos o editarlos, en lugar de generar nuevos activos. Por eso, para nosotros es muy importante hacer primero la edición generativa y luego la creación generativa”.
Modelos de vídeo de calidad de producción que facilitan la edición: esa es la receta con la que Adobe tuvo éxito desde el principio para el modelo de imagen de Firefly en Photoshop. Los ejecutivos de Adobe dijeron anteriormente que la función de relleno generativo de Photoshop es una de las Nuevas funciones más utilizadas de la última década.en gran parte porque complementa y acelera los flujos de trabajo existentes. La empresa espera poder replicar ese éxito con el vídeo.
Según se informa, Adobe está tratando de ser consciente de los creativos pagar a fotógrafos y artistas $3 por cada minuto de vídeo que envían para entrenar su modelo Firefly AI. Dicho esto, muchos creativos todavía desconfían del uso de herramientas de inteligencia artificial o temen que las dejen obsoletas. (Adobe también anunció el lunes herramientas de inteligencia artificial para que los anunciantes generen contenido automáticamente).
Costin les dice a estos creativos preocupados que las herramientas de IA generativa crearán más demanda para su trabajo, no menos: «Si piensas en las necesidades de las empresas que desean crear contenido individualizado e hiperpersonalizado para cualquier usuario que interactúe con ellas, es una demanda infinita».
El líder de IA de Adobe dice que la gente debería considerar cómo otras revoluciones tecnológicas han beneficiado a los creativos, comparando la aparición de las herramientas de IA con la publicación y la fotografía digitales. Señala cómo estos avances fueron vistos originalmente como una amenaza y dice que si los creativos rechazan la IA, lo pasarán mal.
«Aproveche las capacidades generativas para mejorar, mejorar sus habilidades y convertirse en un profesional creativo que puede crear 100 veces más contenido utilizando estas herramientas», dijo Costin. “La necesidad de contenido está ahí, ahora puedes hacerlo sin sacrificar tu vida. Adopte la tecnología. Esta es la nueva alfabetización digital”.
Firefly también insertará automáticamente marcas de agua «generadas por IA» en los metadatos de los videos creados de esta manera. Meta utiliza herramientas de identificación en Instagram y Facebook para etiquetar los medios con estas etiquetas como generados por IA. La idea es que las plataformas o los individuos puedan utilizar herramientas de identificación de IA como esta, siempre que el contenido contenga las marcas de agua de metadatos adecuadas, para determinar qué es auténtico y qué no. Sin embargo, los vídeos de Adobe no tendrán por defecto visible etiquetas que aclaran que están generadas por IA de una manera que los humanos pueden leer fácilmente.
Adobe diseñó específicamente Firefly para generar medios «comercialmente seguros». La compañía dice que no entrenó a Firefly en imágenes y videos que incluyan drogas, desnudez, violencia, figuras políticas o materiales protegidos por derechos de autor. En teoría, esto debería significar que el generador de vídeos de Firefly no creará vídeos «inseguros». Ahora que Internet tiene acceso gratuito al modelo de vídeo de Firefly, veremos si eso es cierto.
