Sabes que has cometido un error cuando simultáneamente has enojado a la Casa Blanca, a la Persona del Año de TIME y a la base de fans más rabiosa de la cultura pop. Eso es lo que le sucedió la semana pasada a X, la plataforma propiedad de Elon Musk antes llamada Twitter, cuando imágenes pornográficas deepfake de Taylor Swift generadas por IA se volvieron virales.
Una de las publicaciones más difundidas de deepfakes explícitos y no consensuados fue vista más de 45 millones de veces y recibió cientos de miles de «me gusta». Eso ni siquiera tiene en cuenta todas las cuentas que compartieron las imágenes en publicaciones separadas: una vez que una imagen ha circulado tan ampliamente, es básicamente imposible eliminarla.
X carece de la infraestructura para identificar contenido abusivo rápidamente y a escala. Incluso en Los días de Twittereste problema era difícil de remediar, pero ha empeorado desde que Musk despidió a gran parte del personal de Twitter, incluida la mayoría de sus empleados. confianza y seguridad equipos. Entonces, la enorme y apasionada base de fans de Taylor Swift tomó el asunto en sus propias manos, inundando los resultados de búsqueda con consultas como “taylor swift ai” y “taylor swift deepfake” para que a los usuarios les resulte más difícil encontrar imágenes abusivas. Como secretario de prensa de la Casa Blanca llamó al Congreso Para hacer algo, X simplemente prohibió el término de búsqueda “taylor swift” durante unos días. Cuando los usuarios buscaban el nombre del músico, veían un aviso de que se había producido un error.
Este fracaso en la moderación de contenido se convirtió en una noticia nacional, ya que Taylor Swift es Taylor Swift. Pero si las plataformas sociales no pueden proteger a una de las mujeres más famosas del mundo, ¿a quién podrán proteger?
«Si te sucede lo que le pasó a Taylor Swift, como le ha sucedido a tanta gente, probablemente no tendrás la misma cantidad de apoyo basado en la influencia, lo que significa que no tendrás acceso a estos realmente». importantes comunidades de atención”, dijo a TechCrunch la Dra. Carolina Are, miembro del Centro para Ciudadanos Digitales de la Universidad de Northumbria en el Reino Unido. «Y estas comunidades de atención son a las que la mayoría de los usuarios tienen que recurrir en estas situaciones, lo que realmente muestra el fracaso de la moderación del contenido».
Prohibir el término de búsqueda “taylor swift” es como poner un trozo de cinta adhesiva en una tubería reventada. Hay muchas soluciones obvias, como la forma en que los usuarios de TikTok buscan «seggs» en lugar de sexo. El bloque de búsqueda era algo que X podía implementar para que pareciera que estaban haciendo algo, pero no impide que las personas simplemente busquen «t swift». Mike Masnick, fundador del Instituto Copia y Techdirt llamado el esfuerzo es “una versión maza de confianza y seguridad”.
“Las plataformas apestan cuando se trata de dar a las mujeres, las personas no binarias y las personas queer agencia sobre sus cuerpos, por lo que replican sistemas fuera de línea de abuso y patriarcado”, dijo Are. «Si sus sistemas de moderación son incapaces de reaccionar ante una crisis, o si sus sistemas de moderación son incapaces de reaccionar a las necesidades de los usuarios cuando informan que algo anda mal, tenemos un problema».
Entonces, ¿qué debería haber hecho X para evitar el fiasco de Taylor Swift de todos modos?
Are hace estas preguntas como parte de ella. investigacióny propone que las plataformas sociales necesitan una revisión completa de cómo manejan la moderación de contenido. Recientemente, llevó a cabo una serie de mesas redondas con 45 usuarios de Internet de todo el mundo que se ven afectados por la censura y el abuso para emitir recomendaciones a las plataformas sobre cómo implementar cambios.
Una recomendación es que las plataformas de redes sociales sean más transparentes con los usuarios individuales sobre las decisiones relativas a su cuenta o sus informes sobre otras cuentas.
«No se tiene acceso al expediente de un caso, aunque las plataformas sí tienen acceso a ese material; simplemente no quieren hacerlo público», dijo Are. «Creo que cuando se trata de abuso, la gente necesita una respuesta más personalizada, contextual y rápida que implique, si no ayuda cara a cara, al menos comunicación directa».
X anunció esta semana que contrataría a 100 moderadores de contenido para trabajar en un nuevo centro de “Confianza y Seguridad” en Austin, Texas. Pero bajo la supervisión de Musk, la plataforma no ha sentado un precedente sólido para proteger usuarios marginados del abuso. También puede ser un desafío tomar a Musk al pie de la letra, ya que el magnate tiene un largo historial de incumplimiento de sus promesas. Cuando compró Twitter por primera vez, Musk declaró que formaría una consejo de moderación de contenidos antes de tomar decisiones importantes. Esto no sucedió.
En el caso de los deepfakes generados por IA, la responsabilidad no recae sólo en las plataformas sociales. También depende de las empresas que crean productos de IA generativa orientados al consumidor.
Según una investigación de 404 Medios, las representaciones abusivas de Swift provienen de un grupo de Telegram dedicado a crear deepfakes explícitos y no consensuados. Los usuarios del grupo suelen utilizar Microsoft Designer, que se basa en DALL-E 3 de Open AI para generar imágenes basadas en indicaciones ingresadas. en un escapatoria Como Microsoft ha abordado desde entonces, los usuarios podrían generar imágenes de celebridades escribiendo mensajes como «taylor ‘singer’ swift» o «jennifer ‘actor’ aniston».
Shane Jones, líder principal de ingeniería de software en Microsoft escribió una carta al fiscal general del estado de Washington afirmando que encontró vulnerabilidades en DALL-E 3 en diciembre, lo que permitió «evitar algunas de las barreras diseñadas para evitar que el modelo cree y distribuya imágenes dañinas».
Jones alertó a Microsoft y OpenAI sobre las vulnerabilidades, pero después de dos semanas, no recibió ninguna indicación de que los problemas se estuvieran solucionando. Entonces, publicó una carta abierta en LinkedIn para instar a OpenAI a suspender la disponibilidad de DALL-E 3. Jones alertó a Microsoft sobre su carta, pero rápidamente le pidieron que la retirara.
«Necesitamos responsabilizar a las empresas por la seguridad de sus productos y su responsabilidad de revelar al público los riesgos conocidos», escribió Jones en su carta al fiscal general del estado. «Los empleados preocupados, como yo, no deberían dejarse intimidar para que guarden silencio».
Mientras las empresas más influyentes del mundo apuestan fuerte por la IA, las plataformas deben adoptar un enfoque proactivo para regular el contenido abusivo, pero incluso en una era en la que hacer deepfakes de celebridades no era tan fácil, el comportamiento violatorio fácilmente evadía la moderación.
«Esto realmente muestra que las plataformas no son confiables», dijo Are. «Las comunidades marginadas tienen que confiar más en sus seguidores y compañeros usuarios que en las personas que técnicamente están a cargo de nuestra seguridad en línea».
