Esta no es la primera vez que los investigadores sospechan que las herramientas de ElevenLabs se utilizaron para propaganda política. Septiembre pasado, NoticiasGuardiauna empresa que rastrea información errónea en línea, reclamado que las cuentas de TikTok que comparten teorías de conspiración utilizando voces generadas por IA, incluido un clon de la voz de Barack Obama, utilizaron la tecnología de ElevenLabs. «Más del 99 por ciento de los usuarios de nuestra plataforma están creando contenido interesante, innovador y útil», dijo ElevenLabs en una declaración enviada por correo electrónico a Los New York Times en ese momento, «pero reconocemos que hay casos de uso indebido y hemos estado desarrollando y publicando salvaguardias continuamente para frenarlos».
Si los análisis de Pindrop y Berkeley son correctos, la llamada automática falsa de Biden se realizó con tecnología de una de las nuevas empresas de voz de IA más destacadas y mejor financiadas de la industria tecnológica. Como señala Farid, ya se considera que ElevenLabs ofrece algunas de las ofertas de voz sintética de mayor calidad del mercado.
Según el CEO de la compañía en un artículo reciente de Bloomberg, ElevenLabs es valorado por los inversores en más de 1.100 millones de dólares. Además de Andreessen Horowitz, entre sus inversores se encuentran personas destacadas como Nat Friedman, ex director ejecutivo de GitHub, y Mustafa Suleyman, cofundador del laboratorio de inteligencia artificial DeepMind, ahora parte de Alphabet. Entre los inversores también se encuentran empresas como Sequoia Capital y SV Angel.
Con su generosa financiación, podría decirse que ElevenLabs está mejor posicionada que otras nuevas empresas de inteligencia artificial para invertir recursos en la creación de salvaguardias efectivas contra los malos actores, una tarea que se vuelve aún más urgente debido a las próximas elecciones presidenciales en los Estados Unidos. «Tener las salvaguardias adecuadas es importante, porque de lo contrario cualquiera puede crear cualquier imagen de cualquier persona», afirma Balasubramaniyan. «A medida que nos acercamos a un ciclo electoral, la situación se volverá una locura».
Un servidor de Discord para entusiastas de ElevenLabs presenta a personas que discuten cómo pretenden clonar la voz de Biden y comparten enlaces a videos y publicaciones en redes sociales que destacan contenido deepfaked que presenta a Biden o copias de las voces de Donald Trump y Barack Obama generadas por IA.
Aunque ElevenLabs es líder del mercado en clonación de voz mediante IA, en tan solo unos años la tecnología se ha vuelto ampliamente disponible para que empresas e individuos experimenten con ella. Esto ha creado nuevas oportunidades de negocio, como crear audiolibros más baratos, pero también aumenta el potencial de uso malicioso de la tecnología. «Tenemos un problema real», dice Sam Gregory, director de programas de la organización sin fines de lucro Witness, que ayuda a las personas a utilizar la tecnología para promover los derechos humanos. «Cuando tienes estas herramientas ampliamente disponibles, es bastante difícil controlarlas».
Si bien los análisis de Pindrop y Berkeley sugieren que podría ser posible desenmascarar la fuente de las llamadas automáticas generadas por IA, el incidente también subraya cuán poco preparados están las autoridades, la industria tecnológica y el público a medida que avanza la temporada electoral de 2024. Es difícil para las personas sin conocimientos especializados confirmar la procedencia de los clips de audio o comprobar si han sido generados por IA. Y es posible que análisis más sofisticados no se completen con la suficiente rapidez para compensar el daño causado por la propaganda generada por la IA.
«Los periodistas, funcionarios electorales y otros no tienen acceso a herramientas confiables para hacer esto rápida y rápidamente cuando se filtra o comparte audio que potencialmente altera las elecciones», dice Gregory. “Si esto hubiera sido algo relevante el día de las elecciones, sería demasiado tarde”.
Actualizado el 26 de enero de 2024 a las 7:20 pm EST: este artículo se actualizó con comentarios de ElevenLabs.
