La semana pasada, OpenAI lanzó un nuevo modelo de IA llamado sora que podría generar videoclips de alta resolución a partir de mensajes de texto. Pero todas son películas mudas esencialmente inteligentes. Ahora ElevenLabs ha añadido sonidos de fondo al metraje creado por Sora.
La startup de clonación de voz con IA, ElevenLabs, fue cofundada por el ex ingeniero de aprendizaje automático de Google, Piotr Dabkowski, y el ex estratega de implementación de Palantir, Mati Staniszewski, en 2022, y desde entonces ha lanzado un software de conversión de texto a voz impulsado por IA y una herramienta de doblaje de IA diseñada para traducir automáticamente. discurso de un video en más de 20 idiomas que «mantiene el tono y estilo de voz original».
Ahora la compañía está trabajando en algo nuevo que, según se informa, puede generar sonidos para acompañar secuencias de video que de otro modo serían silenciosas, basadas en descripciones de una escena proporcionadas por un usuario. Y para demostrar su destreza, lo ha hecho con contenido generado por Sora.
«Utilizamos indicaciones de texto como ‘olas rompiendo’, ‘metal chocando’, ‘pájaros cantando’ y ‘motor de coche de carreras’ para generar audio que superpusimos en algunos de nuestros clips favoritos del anuncio de OpenAI Sora», explicó la compañía en a entrada en el blog.
Los efectos de sonido llegarán pronto a ElevenLabs
El meollo de los efectos de sonido de ElevenLabs aún no se ha revelado, pero la demostración muestra un montón de videoclips generados por Sora acompañados de sonidos de fondo bastante realistas, desde pasos en una calle concurrida junto con el zumbido de la ciudad hasta los pitidos y desde un dron mecánico de un robot bípedo del futuro hasta una narrativa cinematográfica con una voz promocional al estilo de Hollywood. Todo esto aparentemente a partir de indicaciones de texto a audio.
Al igual que con Sora, sin duda habrá algunos problemas que deberán resolverse, así como protecciones contra el fraude y protocolos de seguridad para cocinar, pero con el ritmo de desarrollo de la IA tan rápido, ¿podemos esperar que se otorguen los Oscar a lo mejor en todo? ¿A una IA en un futuro próximo? Se avecinan tiempos interesantes (y posiblemente aterradores).
Aún no se sabe cuándo podemos esperar que llegue la tecnología de efectos de sonido, pero se invita a las personas interesadas en aprender más a registrar su interés.
Fuente: oncelabs (X/Twitter)