Stability AI lanza Stable Video 3D, un modelo de IA que puede renderizar vídeos 3D a partir de imágenes 2D

Stability AI lanzó el lunes un nuevo modelo de renderizado de video 3D denominado Stable Video 3D (SV3D). El inteligencia artificial (IA) genera videos, pero a diferencia de los generadores de videos populares como OpenAI Sora, Runway AI y Pika 1.0, no requiere entradas de texto. El objetivo principal de SV3D es tomar la entrada de la imagen y convertir la fotografía 2D en un modelo orbital 3D. La compañía ha hecho público el nuevo modelo de IA para uso comercial y no comercial.

El anuncio fue realizado por la cuenta oficial de Stability AI en X (anteriormente conocida como Twitter) en un correo donde decía: “Hoy lanzamos Stable Video 3D, un modelo generativo basado en Stable Video Diffusion. Este nuevo modelo avanza en el campo de la tecnología 3D, ofreciendo una calidad y vistas múltiples muy mejoradas”. El anuncio se produjo apenas un mes después de que la empresa de IA Anunciado Stable Diffusion 3, que mejora el rendimiento en indicaciones de múltiples sujetos.

Vídeo estable 3D AI El modelo está disponible en dos variantes diferentes: SV3D_u y SV3D_p. El primero es capaz de generar vídeos orbitales basados ​​en entradas de imágenes únicas, pero no utiliza acondicionamiento de cámara. Esto significa que si bien los objetos de la imagen 2D se convertirán en renderizados 3D, no habrá ningún movimiento de la cámara. La variante más capaz es SV3D_p, que admite imágenes individuales y vistas orbitales, lo que también le permitirá crear videos 3D completamente renderizados a lo largo de trayectorias de cámara específicas.

Según la empresa, el modelo de IA resuelve los problemas de inconsistencia que enfrentan los modelos de generaciones anteriores como Stable Zero123. SV3D aprovecha los campos de radiación neuronal (NeRF) y las representaciones de malla para mejorar la calidad y la coherencia de los vídeos renderizados. «Además, para reducir el problema de la iluminación incorporada, Stable Video 3D emplea un modelo de iluminación desenredado que se optimiza conjuntamente junto con la forma y textura 3D», dijo Stability AI en un detallado entrada en el blog.

Stable Video 3D ahora está disponible para uso comercial y no comercial. Para uso comercial, los usuarios necesitarán una membresía de Stability AI que comienza en $20 (aproximadamente Rs. 1650) al mes para el nivel Profesional. Para uso no comercial, los usuarios pueden descargar el pesos modelo en Abrazar la cara.