Los motores de búsqueda populares como Google y Bing están facilitando la aparición de pornografía deepfake no consensuada colocándola en la parte superior de los resultados de búsqueda. NBC News informó Jueves.
Estos controvertidos deepfakes superponen rostros de mujeres reales, a menudo celebridades, a los cuerpos de artistas adultos para que parezcan estar practicando sexo real. Gracias en parte a los avances en la IA generativa, ahora existe un floreciente mercado negro de pornografía deepfake que podría descubrirse mediante una búsqueda en Google, informó NBC News anteriormente. reportado.
NBC News descubrió el problema desactivando la búsqueda segura y luego combinando los nombres de 36 celebridades femeninas con términos de búsqueda obvios como «deepfakes», «deepfake porno» y «desnudos falsos». Bing generó enlaces a vídeos deepfake en los primeros resultados 35 veces, mientras que Google lo hizo 34 veces. Bing también publicó «fotos falsas desnudas de ex actrices adolescentes de Disney Channel» utilizando imágenes en las que los actores parecen ser menores de edad.
Un portavoz de Google dijo a NBC que el gigante tecnológico comprende «lo angustioso que puede ser este contenido para las personas afectadas por él» y está «trabajando activamente para brindar más protección a la Búsqueda».
Según el portavoz de Google, este contenido controvertido aparece en ocasiones porque «Google indexa el contenido que existe en la web», como «cualquier motor de búsqueda». Pero si bien las búsquedas que utilizan términos como «deepfake» pueden generar resultados consistentes, Google «activamente» diseña «sistemas de clasificación para evitar sorprender a las personas con contenido explícito o dañino inesperado que no están buscando», dijo el portavoz.
Actualmente, la única forma de eliminar la pornografía deepfake no consensuada de los resultados de búsqueda de Google es que la víctima envíe un forma personalmente o a través de un «representante autorizado». Ese formulario requiere que las víctimas cumplan tres requisitos, demostrando que: están «representadas de manera identificable» en el deepfake, las «imágenes en cuestión son falsas y las representan falsamente» como «desnudas o en una situación sexualmente explícita» y las imágenes fueron distribuido sin su consentimiento.
Si bien esto brinda a las víctimas algún curso de acción para eliminar contenido, a los expertos les preocupa que los motores de búsqueda deban hacer más para reducir de manera efectiva la prevalencia de pornografía deepfake disponible en línea, que en este momento está aumentando a un ritmo rápido.
Este problema emergente afecta cada vez más a la gente promedio e incluso a los niños, no sólo a las celebridades. El pasado mes de junio, los expertos en seguridad infantil descubrieron Miles de imágenes realistas pero falsas de IA sobre sexo infantil se comercializan en líneacasi al mismo tiempo que el FBI advirtió que el El uso de deepfakes generados por IA en esquemas de sextorsión estaba aumentando.
Y la pornografía deepfake no consensuada no sólo se comercializa en los mercados negros en línea. En noviembre, la policía de Nueva Jersey inició una investigación después de que adolescentes de secundaria utilizaran generadores de imágenes de IA para Crea y comparte fotos falsas de desnudos de compañeras de clase..
Dado que las empresas de tecnología parecen tardar en detener el aumento de los deepfakes, algunos estados han aprobado leyes que criminalizan la distribución de pornografía deepfake. Julio pasado, Virginia modificó su ley existente que penaliza la pornografía de venganza incluir cualquier «imagen fija o videográfica creada falsamente». En octubre, Nueva York aprobó una ley centrado específicamente en prohibir el porno deepfake, imponer una multa de $1,000 y hasta un año de cárcel para los infractores. El Congreso también ha introducido legislación que crea sanciones penales por la difusión de pornografía deepfake.
Aunque Google le dijo a NBC News que sus funciones de búsqueda «no permiten medios manipulados o contenido sexualmente explícito», la investigación del medio aparentemente encontró lo contrario. NBC News también señaló que la tienda de aplicaciones Play de Google alberga una aplicación que anteriormente se comercializaba para crear pornografía deepfake, a pesar de prohibir «aplicaciones determinadas a promover o perpetuar imágenes, videos y/o textos demostrablemente engañosos o engañosos». Esto sugiere que los esfuerzos de remediación de Google que bloquean imágenes engañosas pueden ser inconsistentes.
Google le dijo a Ars que pronto fortalecerá sus políticas contra aplicaciones que presenten contenido restringido generado por IA en Play Store. Una IA generativa política que entrará en vigor el 31 de enero requerirá que todas las aplicaciones cumplan con las políticas de desarrollador que prohíben las generadas por IA contenido restringidoincluido contenido engañoso y contenido que facilite la explotación o el abuso de niños.
Los expertos dijeron a NBC News que «la falta de vigilancia proactiva de Google en busca de abusos ha convertido a este y a otros motores de búsqueda en plataformas útiles para las personas que buscan participar en campañas de acoso deepfake».
Google está actualmente «en el proceso de crear salvaguardas más amplias, con un enfoque particular en eliminar la necesidad de que las víctimas conocidas soliciten la eliminación de contenido una por una», dijo el portavoz de Google a NBC News.
El portavoz de Microsoft le dijo a Ars que estaban investigando nuestra solicitud para hacer comentarios. Actualizaremos este informe con cualquier información nueva que comparta Microsoft.
En el pasado, el presidente de Microsoft, Brad Smith, dijo que entre todos los peligros que plantea la IA, los deepfakes le preocupan más, pero los deepfakes que alimentan «operaciones de influencia cibernética extranjera» aparentemente le preocupan más que el porno deepfake.
Esta historia se actualizó el 11 de enero para incluir información sobre la política de contenido generado por IA de Google.
