El jueves, la policía del condado de Baltimore arrestó al exdirector deportivo de la escuela secundaria Pikesville, Dazhon Darien, y lo acusó de usar inteligencia artificial para hacerse pasar por el director Eric Eiswert, según un informe de La bandera de Baltimore. La policía dice que Darien utilizó un software de síntesis de voz con inteligencia artificial para simular la voz de Eiswert, lo que llevó al público a creer que el director hizo comentarios racistas y antisemitas.
El clip de audio, publicado en una popular cuenta de Instagram, contenía comentarios ofensivos sobre «niños negros desagradecidos» y su rendimiento académico, así como una amenaza de «unirse al otro lado» si el orador recibía una queja más de «un judío más en esta comunidad.» La grabación también menciona nombres de miembros del personal, incluido el apodo de Darién, «DJ», lo que sugiere que no deberían haber sido contratados o deberían ser eliminados «de una forma u otra».
Los comentarios provocaron un gran revuelo entre los estudiantes, los profesores y la comunidad en general, muchos de los cuales inicialmente creyeron que el director realmente había hecho los comentarios. Según los informes, una maestra de la escuela secundaria Pikesville llamada Shaena Ravenell jugó un papel importante en la difusión del audio. Si bien no ha sido acusada, la policía indicó que reenvió el controvertido correo electrónico a un estudiante conocido por su capacidad para difundir información rápidamente a través de las redes sociales. Luego, este estudiante aumentó el alcance del audio, lo que incluyó compartirlo con los medios y la NAACP.
La policía del condado de Baltimore dice que Darien había accedido a las redes escolares para buscar y utilizar herramientas de inteligencia artificial capaces de imitar la voz. La policía también vinculó a Darién con una cuenta de correo electrónico utilizada para distribuir las grabaciones falsas.
Tecnología de clonación de voz, que tenemos cubierto en el pasado, puede generar un discurso realista después de haber sido entrenado con millones de voces humanas y luego sintonizado para que coincida con una voz específica en una muestra proporcionada. En marzo, los reporteros del Baltimore Banner habló con Siwei Lyuel director de un laboratorio forense de medios en la Universidad de Buffalo. Lyu le dijo al periódico que creía que el clip falsificado de Eiswert hablando fue creado usando un servicio de síntesis de voz como oncelabs. ElevenLabs permite a los usuarios cargar muestras de voz de personas para clonarlas mediante síntesis de texto a voz, aunque sus términos de servicio prohíben clonar una voz sin el permiso de la persona.
El incidente ha llevado a Eiswert a ausentarse de la escuela desde que comenzó la investigación, y ha negado haber hecho los comentarios, afirmando que no se alinean con sus puntos de vista. «No hice esta declaración, y estos pensamientos no son en lo que creo como educador y como persona», dijo Eiswert en un declaración escrita.
Cuando surgió el clip de audio en Enero, la superintendente Myriam Rogers calificó los comentarios de «perturbadores» y «altamente ofensivos e inapropiados». El Baltimore Banner señala que Billy Burke, jefe del sindicato que representa a Eiswert, fue el único funcionario que sugirió públicamente que el audio fue generado por IA. Expresó su decepción por la suposición pública de la culpabilidad de Eiswert y reveló que el director y su familia habían sido acosados y amenazados, requiriendo presencia policial en su casa.
Esta no es la primera vez que el software de clonación de voz con IA causa problemas. Hemos cubierto previamente estafas telefónicas donde alguien imita la voz de un ser querido (en un intento de engañar a la gente para que le dé dinero) y llamadas automáticas de campaña electoral que utilizan voces clonadas de políticos famosos como Joe Biden. En marzo, OpenAI reveló la existencia de su propia tecnología de clonación de vozpero la compañía dijo que lo retendría por ahora debido a preocupaciones sobre el uso indebido.
