Adobe dice que está construyendo un modelo de inteligencia artificial para generar videos. Pero no revela cuándo se lanzará exactamente este modelo, ni mucho sobre él además del hecho de que existe.
Ofrecido como una especie de respuesta a OpenAI. soraGoogle Imagen 2 y modelos de la creciente número de Inauguración En el naciente espacio de video de IA generativa, el modelo de Adobe, una parte de la estrategia de la compañía. Ampliando la familia Firefly de productos de IA generativa – llegará a Premiere Pro, la suite de edición de video insignia de Adobe, a finales de este año, dice Adobe.
Como muchas herramientas de video de IA generativa actuales, el modelo de Adobe crea imágenes desde cero (ya sea un mensaje o imágenes de referencia) y potencia tres nuevas características en Premiere Pro: adición de objetos, eliminación de objetos y extensión generativa.
Se explican por sí solos.
La adición de objetos permite a los usuarios seleccionar un segmento de un clip de vídeo (por ejemplo, el tercio superior o la esquina inferior izquierda) e ingresar un mensaje para insertar objetos dentro de ese segmento. En una sesión informativa con TechCrunch, un portavoz de Adobe mostró una imagen fija de un maletín del mundo real lleno de diamantes generado por el modelo de Adobe.
La eliminación de objetos elimina objetos de los clips, como micrófonos boom o tazas de café en el fondo de un tiro.
En cuanto a la extensión generativa, agrega algunos fotogramas al principio o al final de un clip (desafortunadamente, Adobe no dijo cuántos fotogramas). La extensión generativa no pretende crear escenas completas, sino más bien agregar fotogramas intermedios para sincronizarlos con una banda sonora o conservar una toma para darle un ritmo adicional, por ejemplo, para agregar peso emocional.
Para abordar el miedo a los deepfakes que inevitablemente surge en torno a herramientas de inteligencia artificial generativa como estas, Adobe dice que traerá credenciales de contenido (metadatos para identificar medios generados por inteligencia artificial) a Premiere. Las Credenciales de Contenido, un estándar de procedencia de medios que Adobe respalda a través de su Iniciativa de Autenticidad de Contenido, fueron ya en photoshop y un componente de los modelos Firefly de generación de imágenes de Adobe. En Premiere, indicarán no solo qué contenido fue generado por IA sino también qué modelo de IA se utilizó para generarlo.
Le pregunté a Adobe qué datos (imágenes, videos, etc.) se utilizaron para entrenar el modelo. La compañía no dijo ni dijo cómo (o si) está compensando a los contribuyentes al conjunto de datos.
La semana pasada, Bloomberg, citando fuentes familiarizadas con el asunto, reportado que Adobe paga a fotógrafos y artistas en su plataforma de medios de stock, Adobe Stock, hasta 120 dólares por enviar clips de vídeo cortos para entrenar su modelo de generación de vídeo. Se dice que el pago oscila entre alrededor de $ 2,62 por minuto de video y alrededor de $ 7,25 por minuto, dependiendo de la presentación, y las imágenes de mayor calidad exigen tarifas correspondientemente más altas.
Eso sería una desviación del acuerdo actual de Adobe con los artistas y fotógrafos de Adobe Stock cuyo trabajo está utilizando para entrenar sus modelos de generación de imágenes. La compañía paga a esos contribuyentes una bonificación anual, no una tarifa única, dependiendo del volumen de contenido que tienen en stock y de cómo se utiliza, aunque se trata de una bonificación sujeta a un fórmula opaca y no garantizado de año en año.
Los informes de Bloomberg, si son precisos, muestran un enfoque en marcado contraste con el de rivales de vídeo con IA generativa como OpenAI, que es dicho haber extraído datos web disponibles públicamente, incluidos videos de YouTube, para entrenar sus modelos. El director ejecutivo de YouTube, Neal Mohan, dijo recientemente que el uso de videos de YouTube para entrenar el generador de texto a video de OpenAI sería una infracción de los términos de servicio de la plataforma, destacando la debilidad legal del argumento de uso justo de OpenAI y otros.
Las empresas, incluida OpenAI, están ser demandado por acusaciones de que están violando la ley de propiedad intelectual al entrenar su IA en contenido protegido por derechos de autor sin proporcionar crédito ni pagar a los propietarios. Adobe parece tener la intención de evitar este fin, como su competencia en algún momento generativa de IA, Shutterstock y Getty Images (que también tienen acuerdos para licenciar datos de entrenamiento de modelos) y, con su indemnización de propiedad intelectual política: posicionándose como una opción verificablemente “segura” para los clientes empresariales.
En cuanto al pago, Adobe no dice cuánto les costará a los clientes utilizar las próximas funciones de generación de video en Premiere; presumiblemente, todavía se están debatiendo los precios. pero la empresa hizo revelan que el esquema de pago seguirá el sistema de créditos generativos establecido con sus primeros modelos Firefly.
Para los clientes con una suscripción paga a Adobe Creative Cloud, los créditos generativos se renuevan a partir de cada mes, con asignaciones que van de 25 a 1000 por mes, según el plan. Las cargas de trabajo más complejas (por ejemplo, imágenes generadas con mayor resolución o generaciones de imágenes múltiples) requieren más créditos, como regla general.
La gran pregunta que tengo en mente es: ¿las funciones de video impulsadas por IA de Adobe serán valer ¿Lo que terminen costando?
Los modelos de generación de imágenes de Firefly hasta ahora han sido ampliamente ridiculizado como decepcionante y defectuoso en comparación con Midjourney, DALL-E 3 de OpenAI y otras herramientas de la competencia. La falta de un plazo de lanzamiento en el modelo de video no infunde mucha confianza de que evitará el mismo destino. Tampoco lo hace el hecho de que Adobe se negó a mostrarme demostraciones en vivo de adición y eliminación de objetos y extensión generativa, insistiendo en cambio en un video pregrabado.
Quizás para cubrir sus apuestas, Adobe dice que está en conversaciones con proveedores externos sobre la integración de sus modelos de generación de video en Premiere, así como para potenciar herramientas como la extensión generativa y más.
Uno de esos proveedores es OpenAI.
Adobe dice que está colaborando con OpenAI para encontrar formas de incorporar a Sora al flujo de trabajo de Premiere. (Una alianza con OpenAI tiene sentido dada la capacidad de la startup de IA propuestas a Hollywood recientemente; Es revelador que la CTO de OpenAI, Mira Murati, asistirá al Festival de Cine de Cannes este año). Otros socios iniciales incluyen pikauna startup que crea herramientas de inteligencia artificial para generar y editar videos, y Pistaque fue uno de los primeros proveedores del mercado con un modelo de vídeo generativo.
Un portavoz de Adobe dijo que la empresa estaría abierta a trabajar con otros en el futuro.
Ahora bien, para ser muy claro, estas integraciones son más un experimento mental que un producto funcional en la actualidad. Adobe me recalcó repetidamente que están en una “vista previa anticipada” y en una “investigación” en lugar de algo con lo que los clientes puedan esperar jugar en el corto plazo.
Y eso, diría yo, captura el tono general del prensador de video generativo de Adobe.
Adobe claramente está tratando de señalar con estos anuncios que está pensando en video generativo, aunque sólo sea en el sentido preliminar. Sería una tontería no hacerlo: quedar atrapado desprevenido en la carrera generativa de la IA es correr el riesgo de perder una nueva y valiosa fuente de ingresos potencial, suponiendo que la economía finalmente funcione a favor de Adobe. (Después de todo, los modelos de IA son costosos de entrenar, ejecutar y servir).
Pero, francamente, lo que muestra (conceptos) no es muy convincente. Con Sora en libertad y seguramente más innovaciones en camino, la compañía tiene mucho que demostrar.