En los últimos tres meses, AbiertoAI ha interrumpido cinco operaciones de influencia encubierta (IO) que intentaban explotar los modelos de la empresa para actividades engañosas en línea. Hasta mayo de 2024, estas campañas no han mostrado un aumento sustancial en la participación o el alcance de la audiencia debido a los servicios de OpenAI.
OpenAI afirma que su compromiso de diseñar modelos de IA teniendo en cuenta la seguridad a menudo ha frustrado los intentos de los actores de amenazas de generar el contenido deseado. Además, la compañía afirma que las herramientas de inteligencia artificial han mejorado la eficiencia de las investigaciones de OpenAI.
Los informes detallados sobre amenazas por parte de las plataformas de distribución y la comunidad de código abierto han contribuido significativamente a combatir las IO. OpenAI comparte estos hallazgos para promover el intercambio de información y las mejores prácticas entre la comunidad más amplia de partes interesadas.
Interrupción de IO encubiertas
En los últimos tres meses, OpenAI interrumpió varias operaciones de IO utilizando sus modelos para diversas tareas, como generar comentarios breves, crear perfiles falsos en redes sociales, realizar investigaciones de código abierto, depurar código simple y traducir textos.
Las operaciones específicas interrumpidas incluyen:
- Mala gramática: Una operación rusa de la que no se había informado anteriormente y que tenía como objetivo Ucrania, Moldavia, los Estados bálticos y Estados Unidos. Este grupo utilizó los modelos de OpenAI para depurar código para ejecutar un bot de Telegram y crear comentarios políticos en ruso e inglés, publicados en Telegram.
- Doble: Otra operación rusa que genera comentarios en múltiples idiomas en plataformas como X y 9GAG, traduce y edita artículos, genera titulares y convierte artículos de noticias en publicaciones de Facebook.
- Spamouflage: Una red china que utiliza los modelos de OpenAI para investigar la actividad de las redes sociales públicas, generar textos en varios idiomas y depurar código para administrar bases de datos y sitios web.
- Unión Internacional de Medios Virtuales (IUVM): Una operación iraní que genera y traduce artículos extensos, titulares y etiquetas de sitios web, publicados en un sitio web vinculado.
- Cero Zenón: Una empresa comercial en Israel, con operaciones que generan artículos y comentarios publicados en múltiples plataformas, incluidas Instagram, Facebook, X y sitios web afiliados.
El contenido publicado por estas operaciones se centró en diversos temas, incluida la invasión rusa de Ucrania, el conflicto de Gaza, las elecciones indias, la política europea y estadounidense y las críticas al gobierno chino.
A pesar de estos esfuerzos, ninguna de estas operaciones mostró un aumento significativo en la participación de la audiencia debido a los modelos de OpenAI. Utilizando la escala de ruptura de Brookings, que evalúa el impacto de las operaciones de información encubiertas, ninguna de las cinco operaciones obtuvo una puntuación superior a 2, lo que indica actividad en múltiples plataformas pero ninguna ruptura en comunidades auténticas.
Tendencias de los atacantes
Las investigaciones sobre estas operaciones de influencia revelaron varias tendencias:
- Generación de contenido: Los actores de amenazas utilizaron los servicios de OpenAI para generar grandes volúmenes de texto con menos errores de idioma de los que los operadores humanos podrían lograr por sí solos.
- Mezclando lo viejo y lo nuevo: La IA se utilizó junto con formatos tradicionales, como textos escritos manualmente o memes copiados.
- Fingir compromiso: Algunas redes generaron respuestas a sus propias publicaciones para crear la apariencia de participación, aunque ninguna logró atraer una participación auténtica.
- Ganancias de productividad: Los actores de amenazas utilizaron IA para mejorar la productividad, resumiendo publicaciones en redes sociales y depurando código.
Tendencias defensivas
Las investigaciones de OpenAI se beneficiaron del intercambio de la industria y de la investigación de código abierto. Las medidas defensivas incluyen:
- Diseño defensivo: Los sistemas de seguridad de OpenAI impusieron fricciones a los actores de amenazas, impidiéndoles a menudo generar el contenido deseado.
- Investigación mejorada por IA: Las herramientas impulsadas por IA mejoraron la eficiencia de la detección y el análisis, reduciendo los tiempos de investigación de semanas o meses a días.
- La distribución importa: El contenido de IO, al igual que el contenido tradicional, debe distribuirse de forma eficaz para llegar a una audiencia. A pesar de sus esfuerzos, ninguna de las operaciones interrumpidas logró un compromiso sustancial.
- Importancia de compartir la industria: Compartir indicadores de amenazas con pares de la industria aumentó el impacto de las interrupciones de OpenAI. La empresa se benefició de años de análisis de código abierto realizados por la comunidad de investigación en general.
- El elemento humano: A pesar de utilizar IA, los actores de amenazas eran propensos a cometer errores humanos, como publicar mensajes de rechazo de los modelos de OpenAI en sus redes sociales y sitios web.
OpenAI dice que sigue dedicado a desarrollar una IA segura y responsable. Esto implica diseñar modelos teniendo en cuenta la seguridad e intervenir de forma proactiva contra el uso malicioso.
Si bien admite que detectar e interrumpir abusos multiplataforma, como operaciones de influencia encubiertas, es un desafío, OpenAI afirma que está comprometido a mitigar los peligros.
(Foto por Chris Yang)
Ver también: La UE inaugura una oficina para implementar la Ley de IA y fomentar la innovación

¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con otros eventos importantes, incluidos Conferencia de automatización inteligente, bloquex, Semana de la Transformación Digitaly Exposición de seguridad cibernética y nube.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.