Imágenes explícitas y falsas generadas por inteligencia artificial que sexualizan a Taylor Swift comenzaron a circular en línea esta semana, provocando rápidamente una indignación masiva que finalmente podría obligar a la corriente principal a reconocer los daños causados por la difusión de pornografía deepfake no consensuada.
Una amplia variedad de deepfakes dirigidos a Swift comenzaron a difundirse ayer en X, la plataforma anteriormente conocida como Twitter.
Ars descubrió que algunas publicaciones han sido eliminadas, mientras que otras permanecen en línea al momento de escribir este artículo. Una publicación X fue vista más de 45 millones de veces durante aproximadamente 17 horas antes de ser eliminada, The Verge reportado. Aparentemente impulsando una mayor difusión, X promovió estas publicaciones bajo el tema de tendencia «Taylor Swift AI» en algunas regiones, informó The Verge.
The Verge señaló que desde que estas imágenes comenzaron a difundirse, «ha aparecido una avalancha de nuevas falsificaciones gráficas». Según Fast Company, estas imágenes dañinas se publicaron en X pero pronto se extendieron a otras plataformas, incluidas Reddit, Facebook e Instagram. Algunas plataformas, como Xprohíben compartir imágenes generadas por IA, pero parecen tener dificultades para detectar contenido prohibido antes de que sea ampliamente visto.
Benj Edwards, reportero de IA de Ars advertido en 2022 que la tecnología de generación de imágenes de IA avanzaba rápidamente, lo que hacía fácil entrenar un modelo de IA con solo un puñado de fotos antes de que pudiera usarse para crear imágenes falsas pero convincentes de esa persona en cantidades infinitas. Aparentemente, eso es lo que le sucedió a Swift, y actualmente se desconoce cuántos deepfakes diferentes no consensuados se han generado o qué tan ampliamente se han difundido esas imágenes.
Tampoco se sabe qué consecuencias ha tenido la difusión de las imágenes. Al menos a un usuario verificado de X se le suspendió la cuenta después de compartir imágenes falsas de Swift, informó The Verge, pero Ars revisó publicaciones en X de fanáticos de Swift dirigidas a otros que supuestamente compartieron imágenes cuyas cuentas permanecen activas. Los fanáticos de Swift también han estado subiendo innumerables fotos favoritas de Swift para enterrar las imágenes dañinas y evitar que aparezcan en varias búsquedas X. Sus fanáticos parecen dedicados a reducir la propagación como puedan, y algunos publican direcciones diferentes, aparentemente en un intento de engañar a un usuario X que, según afirman, es la fuente inicial de las imágenes.
Ni X ni el equipo de Swift han comentado aún sobre los deepfakes, pero parece claro que resolver el problema requerirá algo más que simplemente solicitar la eliminación de las plataformas de redes sociales. Es probable que el modelo de IA entrenado en las imágenes de Swift todavía esté disponible, probablemente adquirido a través de uno de los sitios web conocidos que se especializan en crear modelos de IA de celebridades afinados. Mientras exista el modelo, cualquiera con acceso podría generar tantas imágenes nuevas como quisiera, lo que dificultaría incluso que alguien con los recursos de Swift lograra que el problema desapareciera para siempre.
De esa manera, la situación de Swift podría crear conciencia sobre por qué crear y compartir pornografía deepfake no consensuada es dañino, tal vez alejando a la cultura de las nociones persistentes de que nadie resulta perjudicado por falsificaciones no consensuadas generadas por IA.
La difícil situación de Swift también podría inspirar a los reguladores a actuar más rápido para combatir la pornografía deepfake no consensuada. El año pasado, inspiró una audiencia en el Senado después de que un escándalo de Live Nation frustrara a sus fanáticos, lo que desencadenó preocupaciones antimonopolio de los legisladores sobre el principal vendedor de entradas, The New York Times. reportado.
Algunos legisladores ya están trabajando para combatir la pornografía deepfake. El congresista Joe Morelle (demócrata por Nueva York) propuso una ley que penaliza la pornografía deepfake a principios de este año después Los adolescentes de una escuela secundaria de Nueva Jersey utilizaron generadores de imágenes de IA para crear y compartir imágenes falsas de desnudos no consensuales de compañeras de clase. Según esa ley propuesta, cualquiera que comparta pornografía deepfake sin el consentimiento de un individuo corre el riesgo de recibir multas y ser encarcelado por hasta dos años. Los daños podrían ascender a 150.000 dólares y una pena de prisión de hasta 10 años si compartir las imágenes facilita la violencia o afecta los procedimientos de una agencia gubernamental.
En otros lugares, la Ley de Seguridad en Línea del Reino Unido restringe la compartición de cualquier contenido ilegal en plataformas, incluida la pornografía deepfake. Requiere moderación, o las empresas se arriesgarán a multas por valor de más de 20 millones de dólares, o el 10 por ciento de su facturación anual global, la cantidad que sea mayor.
La ley del Reino Unido, sin embargo, es controvertida porque exige que las empresas escaneen los mensajes privados en busca de contenido ilegal. Eso hace que sea prácticamente imposible que las plataformas proporcionen cifrado de extremo a extremo, algo que la Unión Estadounidense de Libertades Civiles ha propuesto. descrito como vital para la privacidad y seguridad del usuario.
Mientras los reguladores se enredan con cuestiones legales y los usuarios de las redes sociales con cuestiones morales, algunos generadores de imágenes de IA han tomado medidas para limitar la producción de resultados NSFW por parte de los modelos. Algunos hicieron esto eliminando algunos de los gran cantidad de imágenes sexualizadas en los datos de entrenamiento de los modelos, como Stability AI, la compañía detrás de Stable Diffusion. Otros, como Creador de imágenes de Bing de Microsoftfacilita a los usuarios informar resultados NSFW.
Pero hasta ahora, mantenerse al día con los informes sobre pornografía deepfake parece recaer directamente sobre los hombros de las plataformas de redes sociales. La batalla de Swift esta semana muestra cuán poco preparadas están actualmente incluso las plataformas más grandes para manejar ráfagas de imágenes dañinas que aparentemente se cargan más rápido de lo que pueden eliminarse.