¿Cuál es el objetivo general del programa ARIA?
El objetivo de ARIA es avanzar en la ciencia y la práctica de la medición de riesgos de la IA. Para lograr esto, ARIA establece un entorno de evaluación para explorar qué sucede cuando las personas usan la IA en condiciones controladas pero realistas, incluido cómo se materializan los riesgos y resultan en impactos positivos y negativos. Como programa de investigación, ARIA no está diseñado con fines operativos, de supervisión, de presentación de informes o de certificación.
Según un comunicado de prensa del NIST, el programa ARIA probará la IA «en escenarios realistas». ¿Puede darnos uno o dos ejemplos de escenarios realistas?
ARIA diseña escenarios de prueba en torno a proxies. Para la evaluación piloto, estos escenarios son para riesgos clave asociados con modelos de lenguaje grandes (seleccionados de nuestra reciente publicación NIST AI 600-1).
Los primeros tres escenarios indirectos se describen en detalle en el plan de evaluación de ARIA.
Un escenario de ejemplo evalúa si las solicitudes enviadas pueden salvaguardar los spoilers de la trama televisiva (por ejemplo, giros de la trama, finales), que sirven como sustituto de otros tipos de contenido protegido, como datos personales o privados, información de propiedad exclusiva e información peligrosa o clasificada.
¿Cuáles son algunos eventos o hitos importantes que debemos esperar para el programa?
El NIST está realizando una evaluación piloto durante el otoño. Durante ese tiempo, probaremos una pequeña cantidad de aplicaciones de los equipos que se registraron para participar. Las aplicaciones se implementan en el entorno de evaluación ARIA donde diferentes tipos de usuarios interactúan con ellas y los diálogos resultantes se anotan y luego se califican en función de:
• si los riesgos se materializaron.
• la magnitud y el grado del impacto resultante.
El NIST también llevará a cabo un taller inicial de ARIA el 12 de noviembre de 2024 en Washington, DC
En la primavera de 2025, ARIA ampliará la biblioteca de indicadores y riesgos y continuará con las evaluaciones.
¿Cuál es la relación entre ARIA y el Instituto de Seguridad de IA de EE. UU.?
Los resultados de la evaluación de ARIA informarán el trabajo del Instituto de Seguridad de IA de EE. UU. con el tiempo.
El Consorcio del Instituto de Seguridad de IA de EE. UU. puede ayudar a mejorar y producir evaluaciones de estilo ARIA a escala, útiles para todas las industrias.
