El gobierno de Estados Unidos ha presentado nuevas directrices de seguridad destinadas a reforzar la infraestructura crítica contra amenazas relacionadas con la inteligencia artificial (IA).
«Estas directrices se basan en el esfuerzo de todo el gobierno para evaluar los riesgos de la IA en los dieciséis sectores de infraestructura críticos y abordar las amenazas tanto hacia como desde los sistemas de IA y que los involucran», dijo el Departamento de Seguridad Nacional (DHS) dicho Lunes.
Además, la agencia dijo que está trabajando para facilitar el uso seguro, responsable y confiable de la tecnología de una manera que no infrinja la privacidad, los derechos civiles y las libertades civiles de las personas.
La nueva guía se refiere al uso de la IA para aumentar y escalar los ataques a infraestructuras críticas, la manipulación adversa de los sistemas de IA y las deficiencias en dichas herramientas que podrían tener consecuencias no deseadas, lo que requiere la necesidad de transparencia y prácticas de diseño seguras para evaluar y mitigar la IA. riesgos.
Específicamente, esto abarca cuatro funciones diferentes, como gobernar, mapear, medir y gestionar durante todo el ciclo de vida de la IA:
- Establecer una cultura organizacional de gestión de riesgos de IA.
- Comprenda su contexto de uso individual de IA y su perfil de riesgo
- Desarrollar sistemas para evaluar, analizar y rastrear los riesgos de la IA.
- Priorizar y actuar sobre los riesgos de la IA para la seguridad y la protección
«Los propietarios y operadores de infraestructuras críticas deben tener en cuenta su propio uso de la IA en cada sector y contexto al evaluar los riesgos de la IA y seleccionar las mitigaciones adecuadas», dijo la agencia. dicho.
«Los propietarios y operadores de infraestructuras críticas deben comprender dónde existen estas dependencias de los proveedores de IA y trabajar para compartir y delinear las responsabilidades de mitigación en consecuencia».
El desarrollo llega semanas después de que la alianza de inteligencia Five Eyes (FVEY), compuesta por Australia, Canadá, Nueva Zelanda, el Reino Unido y los EE. UU., publicara una hoja de información de ciberseguridad en la que se señala la cuidadosa instalación y configuración necesarias para implementar sistemas de IA.
«La rápida adopción, despliegue y uso de capacidades de IA pueden convertirlas en objetivos muy valiosos para ciberataques maliciosos», afirman los gobiernos. dicho.
«Los actores, que históricamente han utilizado el robo de datos sensibles y propiedad intelectual para promover sus intereses, pueden intentar cooptar los sistemas de inteligencia artificial desplegados y aplicarlos con fines maliciosos».
Las mejores prácticas recomendadas incluyen tomar medidas para proteger el entorno de implementación, revisar el origen de los modelos de IA y la seguridad de la cadena de suministro, garantizar una arquitectura sólida del entorno de implementación, reforzar las configuraciones del entorno de implementación, validar el sistema de IA para garantizar su integridad, proteger los pesos de los modelos, hacer cumplir estrictos controles de acceso, realizar auditorías externas e implementar registros sólidos.
A principios de este mes, el Centro de Coordinación CERT (CERT/CC) detallado una deficiencia en la biblioteca de redes neuronales Keras 2 que podría ser aprovechada por un atacante para troyanizar un modelo de IA popular y redistribuirlo, envenenando efectivamente la cadena de suministro de aplicaciones dependientes.
Investigaciones recientes han descubierto que los sistemas de IA son vulnerable a una amplia gama de ataques de inyección rápida que inducen al modelo de IA a eludir los mecanismos de seguridad y producir resultados dañinos.
«Los ataques de inyección rápida a través de contenido envenenado son un riesgo de seguridad importante porque un atacante que hace esto puede potencialmente emitir comandos al sistema de inteligencia artificial como si fuera el usuario», Microsoft anotado en un informe reciente.
Una de esas técnicas, denominada Crescendo, ha sido descrita como un jailbreak multiturno de modelo de lenguaje grande (LLM) que, al igual que el de Anthropic, jailbreak de muchos disparosengaña al modelo para que genere contenido malicioso «haciendo preguntas o indicaciones cuidadosamente elaboradas que lleven gradualmente al LLM a un resultado deseado, en lugar de preguntar el objetivo de una vez».
Las indicaciones de jailbreak de LLM se han convertido popular entre los ciberdelincuentes buscando crear señuelos de phishing efectivos, incluso cuando los actores estatales han comenzado Armando la IA generativa para orquestar operaciones de espionaje e influencia.
Aún más preocupante, estudios de la Universidad de Illinois Urbana-Champaign han descubierto que los agentes LLM se pueden utilizar para trabajar de forma autónoma. explotar vulnerabilidades de un día en sistemas del mundo real simplemente usando sus descripciones CVE y «hackear sitios webrealizando tareas tan complejas como extracción ciega de esquemas de bases de datos e inyecciones de SQL sin comentarios humanos».
