El Instituto Nacional de Estándares y Tecnología (NIST), la agencia del Departamento de Comercio de EE. UU. que desarrolla y prueba tecnología para el gobierno, las empresas y el público en general de EE. UU., anunció el lunes el lanzamiento de NIST GenAI, un nuevo programa encabezado por el NIST para evaluar la generación. Tecnologías de IA, incluida la IA generadora de texto e imágenes.
NIST GenAI publicará puntos de referencia, ayudará a crear sistemas de detección de «autenticidad del contenido» (es decir, verificación de deepfake) y fomentará el desarrollo de software para detectar la fuente de información falsa o engañosa generada por IA, explica NIST en el sitio web NIST GenAI recientemente lanzado y en un presione soltar.
“El programa NIST GenAI emitirá una serie de problemas desafiantes [intended] para evaluar y medir las capacidades y limitaciones de las tecnologías de IA generativa”, se lee en el comunicado de prensa. «Estas evaluaciones se utilizarán para identificar estrategias para promover la integridad de la información y guiar el uso seguro y responsable del contenido digital».
El primer proyecto de NIST GenAI es un estudio piloto para construir sistemas que puedan distinguir de manera confiable entre los medios creados por humanos y los generados por IA, comenzando con el texto. (Si bien muchos servicios pretenden detectar deepfakes, los estudios y nuestras propias pruebas han demostrado que son tembloroso en el mejor de los casosparticularmente cuando se trata de texto.) NIST GenAI está invitando a equipos de la academia, la industria y los laboratorios de investigación a enviar “generadores” (sistemas de IA para generar contenido) o “discriminadores”, que son sistemas diseñados para identificar contenido generado por IA.
Los generadores del estudio deben generar resúmenes de 250 palabras o menos, proporcionando un tema y un conjunto de documentos, mientras que los discriminadores deben detectar si un resumen determinado está potencialmente escrito por IA. Para garantizar la equidad, NIST GenAI proporcionará los datos necesarios para probar los generadores. Sistemas capacitados con datos disponibles públicamente y que no “[comply] con las leyes y regulaciones aplicables” no serán aceptados.
La inscripción para el piloto comenzará el 1 de mayo y los resultados se publicarán en febrero de 2025.
El lanzamiento de NIST GenAI y el estudio centrado en los deepfakes se producen en un momento en que los deepfakes crecen exponencialmente.
Según datos de Claridad, una empresa de detección de deepfakes, este año se han creado un 900% más de deepfakes en comparación con el mismo período del año pasado. Está causando alarma, comprensiblemente. A reciente encuesta de YouGov descubrió que El 85% de los estadounidenses dijeron que estaban preocupados. sobre la difusión de deepfakes engañosos en línea.
El lanzamiento de NIST GenAI es parte de la respuesta del NIST a la orden ejecutiva del presidente Joe Biden sobre IA, que estableció reglas que exigen una mayor transparencia por parte de las empresas de IA sobre cómo funcionan sus modelos y estableció una serie de nuevos estándares, incluso para etiquetar el contenido generado por IA. .
También es el primer anuncio del NIST relacionado con la IA después del nombramiento de Paul Christiano, un ex investigador de OpenAI, para el Instituto de Seguridad de IA de la agencia.
Christiano fue una elección controvertida por sus opiniones “doomeristas”; él una vez predicho que «hay un 50% de posibilidades de que el desarrollo de la IA termine en [humanity’s destruction].” Críticosque supuestamente incluye a científicos del NIST, temen que Cristiano pueda alentar al AI Safety Institute a centrarse en «escenarios de fantasía» en lugar de riesgos realistas y más inmediatos de la IA.
NIST dice que NIST GenAI informará el trabajo del AI Safety Institute.