Existen más deepfakes políticos de los que crees, según este experto en IA

¿Qué tan frecuentes son los deepfakes políticos? Los ciudadanos más relativamente informados pueden recordar ejemplos importantes de contenido político sintético, como la aparente «llamada automática» realizada por el presidente Joe Biden en enero a los votantes de New Hampshire, que resultó ser una voz sintetizada creada por IA. Si bien no existe una estadística autorizada sobre los deepfakes de inteligencia artificial (IA), un escéptico podría pensar que no son comunes, dado que solo se informa ampliamente sobre unos pocos de alto perfil.

Pero, según un experto en IA, es más probable que los deepfakes de IA estén aumentando antes de las elecciones presidenciales de Estados Unidos en noviembre; simplemente no se ven muchos de ellos.

También: El 80% de la gente cree que los deepfakes afectarán las elecciones. He aquí cómo prepararse

«Haría una apuesta de mil dólares a que veremos un conjunto sin precedentes de estos [deepfakes]»en noviembre, «porque se ha vuelto mucho más fácil hacerlos», dijo Oren Etzioni, fundador de la organización sin fines de lucro. TrueMediaen una entrevista con ZDNET el mes pasado.

«No te animaría a hacer esa apuesta, porque tengo más información que tú», continuó entre risas.

TrueMedia ejecuta servidores que ensamblan múltiples programas clasificadores basados ​​en inteligencia artificial con el único propósito de saber si una imagen es deepfake o no. La organización cuenta con el respaldo de la fundación benéfica del cofundador de Uber, Garrett Camp, Campamento.org.

Cuando un usuario sube una imagen, TrueMedia producirá una etiqueta que dice «incierto», en una burbuja amarilla, «altamente sospechoso», en rojo, o una burbuja verde con «auténtico» si los modelos de IA tienen un grado de certeza de que es no es un deepfake. Puedes ver una demostración y registrarte para obtener acceso beta al programa. aquí.

Etzioni, profesor de la Universidad de Washington, también es director ejecutivo fundador del Instituto Allen para la IA, que ha realizado un extenso trabajo en la detección de material generado por IA.

Etzioni cree que es correcto decir que «no hay una enorme cantidad» de deepfakes circulando públicamente en este momento. Sin embargo, añadió que gran parte de lo que realmente existe probablemente pase desapercibido para el público en general.
«¿Sabes realmente lo que está pasando en Telegrama?», señaló en referencia al servicio de mensajería privada.

También: A medida que los agentes de IA se propagan, también lo hacen los riesgos, dicen los académicos

El fundador dijo que TrueMedia está viendo evidencia de que los creadores de deepfakes están aumentando la producción para finales de este año, cuando se intensifique la temporada electoral. «Vemos pruebas, vemos globos de prueba, vemos gente preparando cosas», señaló, y no sólo en Estados Unidos.

«Este es el año que cuenta, porque nos enfrentamos a una serie de elecciones, y la tecnología [of deepfakes] «Se ha vuelto tan frecuente», explicó. «Para mí, es una cuestión de cuándo, no de si, hay intentos de perturbar las elecciones, ya sea a nivel nacional o en un colegio electoral en particular».

Para prepararse, TrueMedia ha creado una red de capacidades e infraestructura. La organización ejecuta sus propios algoritmos sobre posibles deepfakes mientras paga a empresas emergentes colaboradoras como Reality Defender y Sensity para que ejecuten sus algoritmos en paralelo, para aunar esfuerzos y verificar los hallazgos.

«Realmente se requiere un esfuerzo de base para combatir este tsunami de desinformación del que estamos viendo el comienzo», dijo Etzioni. «No existe una solución milagrosa, lo que significa que no hay un solo proveedor o modelo que lo tenga todo».

También: ¿Qué son las credenciales de contenido?

Para empezar, TrueMedia ajusta una variedad de modelos de código abierto. «Utilizamos clasificadores que dicen sí o no» a cada potencial deepfake, dijo Etzioni. Al ejecutarse como un conjunto, los clasificadores pueden agrupar respuestas de cada modelo, y el equipo está obteniendo una precisión de más del 90 %.

«Algunos de estos clasificadores tienen modelos generativos integrados, pero no es el caso de que sólo estemos ejecutando Transformers», continuó Etzioni, refiriéndose al omnipresente modelo de «atención» de IA que dio paso a varios otros, incluido GPT-4. , Gemini de Google, Claude de Anthropic y Llama de Meta.

TrueMedia, por el momento, no ofrece código fuente para los modelos, ni publica detalles técnicos ni divulga conjuntos de datos de entrenamiento. «Somos prudentes en cuanto a fuentes y métodos, al menos por el momento», afirmó Etzioni. «Somos una organización sin fines de lucro, por lo que no intentamos crear nada propietario; lo único es que estamos en una posición inusual porque estamos en un panorama adversario».

Etzioni espera que se produzcan más revelaciones con el tiempo. «Sólo tenemos que encontrar las estructuras apropiadas», afirmó.

También: El modelo VLOGGER AI de Google puede generar avatares de vídeo a partir de imágenes: ¿qué podría salir mal?

Para admitir la ejecución de todos estos modelos, TrueMedia ha contado con la ayuda de una startup OctoAIque fue fundada por el amigo y colega de Etzioni en la Universidad de Washington, Luis Ceze.
OctoAI, que se ha esforzado en mejorar el rendimiento de la IA en diversos chips y sistemas de computadora, ejecuta un servicio en la nube para facilitar el trabajo de entrenamiento de modelos y entrega de predicciones. Los desarrolladores que quieran ejecutar LLM y similares pueden cargar su modelo en el servicio y OctoAI se encarga del resto.

Las necesidades de inferencia de TrueMedia son «bastante complejas, en el sentido de que accedemos a las API de los proveedores, pero también ejecutamos muchos de nuestros propios modelos y los ajustamos», dijo Etzioni. «Y tenemos que preocuparnos mucho por la seguridad porque este es un lugar donde uno puede ser blanco de ataques de denegación de servicio».

También: Ofrecer IA generativa ahora es mucho más fácil con OctoAI

TrueMedia y sus colaboradores esperan una marea creciente de consultas deepfake. «Especialmente a medida que nos acercamos a las elecciones, esperamos que el volumen de consultas sobre los modelos sea bastante alto», dijo Ceze en una entrevista con ZDNET.

El próximo aumento significa que la velocidad y la escala son una preocupación. «Nosotros, como sociedad en general, queremos que la gente lo utilice y que los medios lo utilicen y validen sus imágenes», añadió Ceze. «Queremos que la gente no tenga que esperar demasiado o tal vez perder la paciencia».

«Lo último que queremos es desmoronarnos bajo un ataque de denegación de servicio, o desmoronarnos porque no configuramos el escalado automático correctamente», dijo Etzioni. Según él, TrueMedia ya cuenta con miles de usuarios. Anticipa que, a medida que avance el año, «tendremos a varias de las organizaciones de medios líderes en todo el mundo utilizando nuestras herramientas, y fácilmente tendremos decenas de miles de usuarios».

Entonces, ¿cómo sabrá TrueMedia si está teniendo impacto?

«¿Evitaremos que las elecciones se vean influidas?» – reflexionó Etzioni. «Sabes, puedes usar palabras elegantes como ‘proteger la integridad del proceso electoral’; eso es demasiado grandioso para mí. Sólo quiero tener esa herramienta disponible».

También: Todos los ojos puestos en la ciberdefensa a medida que las elecciones entran en la era de la IA generativa

Para Etzioni, el objetivo es crear transparencia (y conversación) en torno a los deepfakes. Las etiquetas de contenido de TrueMedia son públicas, por lo que los espectadores pueden compartir, comparar y cuestionar sus hallazgos. Esa verificación adicional es importante: incluso con más del 90% de precisión, Etzioni admite que el conjunto de TrueMedia no es perfecto. «Así como ChatGPT no puede evitar las alucinaciones, nosotros tampoco podemos evitar cometer errores», dijo.

Los escépticos cuestionarán el tipo de influencia que ejerce una organización sin fines de lucro cuyo código fuente no se divulga y cuyos conjuntos de datos de capacitación no están abiertos al escrutinio público. ¿Por qué alguien debería confiar en las etiquetas que genera TrueMedia?

«Creo que es una pregunta justa», dijo Etzioni. «Sólo tenemos seis semanas y tenemos más revelaciones que hacer».

Dicho esto, Etzioni enfatizó la apertura del enfoque de TrueMedia, en comparación con otras opciones. «Somos un libro abierto en términos de resultados, a diferencia de muchas otras herramientas que están disponibles bajo el capó o para la venta», dijo.

TrueMedia espera publicar un análisis del estado actual de los deepfakes en las próximas semanas. «Estamos logrando que la gente piense más críticamente sobre lo que ven en los medios», afirmó.