Estos pueden ser un funcionamiento inadecuado del modelo, patrones de comportamiento sospechosos o entradas maliciosas. Los atacantes también pueden intentar abusar de las entradas a través de la frecuencia, mediante controles como API que limitan la velocidad. Los atacantes también pueden intentar afectar la integridad del comportamiento del modelo, lo que genera resultados no deseados en el modelo, como fallas en la detección de fraude o la toma de decisiones que pueden tener implicaciones de seguridad. Los controles recomendados aquí incluyen elementos como detectar entradas extrañas o contradictorias y elegir un diseño de modelo resistente a la evasión.
Amenazas en tiempo de desarrollo
En el contexto de los sistemas de IA, AI Exchange de OWASP analiza las amenazas en el tiempo de desarrollo en relación con el entorno de desarrollo utilizado para la ingeniería de datos y modelos fuera del alcance normal del desarrollo de aplicaciones. Esto incluye actividades como la recopilación, el almacenamiento y la preparación de datos y modelos y la protección contra ataques como fugas de datos, envenenamiento y ataques a la cadena de suministro.
Los controles específicos citados incluyen la protección de datos de desarrollo y el uso de métodos como el cifrado de datos en reposo, la implementación de control de acceso a los datos, incluido el acceso menos privilegiado, y la implementación de controles operativos para proteger la seguridad y la integridad de los datos almacenados.
Los controles adicionales incluyen la seguridad del desarrollo de los sistemas involucrados, incluidas las personas, los procesos y las tecnologías involucradas. Esto incluye implementar controles como la seguridad del personal para los desarrolladores y proteger el código fuente y las configuraciones de los entornos de desarrollo, así como sus puntos finales a través de mecanismos como el escaneo de virus y la gestión de vulnerabilidades, como en las prácticas tradicionales de seguridad de aplicaciones. Los compromisos de los puntos finales de desarrollo podrían generar impactos en los entornos de desarrollo y los datos de capacitación asociados.
AI Exchange también menciona las listas de materiales (BOM) de IA y ML para ayudar a mitigar las amenazas a la cadena de suministro. Recomienda utilizar Compromiso de la cadena de suministro de aprendizaje automático de MITRE ATLAS como un recurso para mitigar las preocupaciones sobre procedencia y pedigrí y también realizar actividades como verificar firmas y utilizar herramientas de verificación de dependencia.
Amenazas de AppSec en tiempo de ejecución
AI Exchange señala que los sistemas de IA son, en última instancia, sistemas de TI y pueden tener debilidades y vulnerabilidades similares que no son específicas de la IA pero que afectan los sistemas de TI de los que la IA forma parte. Por supuesto, estos controles se abordan mediante mejores prácticas y estándares de seguridad de aplicaciones de larga data, como los de OWASP. Estándar de verificación de seguridad de aplicaciones (ASVS).
Dicho esto, los sistemas de IA tienen algunos vectores de ataque únicos que también se abordan, como el envenenamiento y el robo del modelo de tiempo de ejecución, el manejo inseguro de la salida y la inyección rápida directa, este último también citado en el OWASP. LLM Top 10, ocupando el primer lugar entre las amenazas/riesgos enumerados. Esto se debe a la popularidad de las plataformas GenAI y LLM en los últimos 12 a 24 meses.
Para abordar algunas de estas amenazas de AppSec en tiempo de ejecución específicas de IA, AI Exchange recomienda controles como el modelo de tiempo de ejecución y la integridad de entrada/salida para abordar el envenenamiento del modelo. Para el robo de modelos en tiempo de ejecución, controles como la confidencialidad del modelo en tiempo de ejecución (por ejemplo, control de acceso, cifrado) y la ofuscación del modelo, lo que dificulta que los atacantes comprendan el modelo en un entorno implementado y extraigan información para alimentar sus ataques.
Para abordar el manejo inseguro de la salida, los controles recomendados incluyen la codificación de la salida del modelo para evitar ataques de inyección tradicionales.
Los ataques de inyección rápida pueden ser particularmente nefastos para los sistemas LLM, ya que tienen como objetivo crear entradas para hacer que el LLM ejecute sin saberlo los objetivos de los atacantes, ya sea mediante inyecciones rápidas directas o indirectas. Estos métodos se pueden utilizar para lograr que el LLM divulgue datos confidenciales, como datos personales y propiedad intelectual. Para lidiar con la inyección directa de mensajes, nuevamente se cita el OWASP LLM Top 10, y las recomendaciones clave para evitar que ocurra incluyen hacer cumplir el control privilegiado para el acceso del LLM a los sistemas backend, segregar el contenido externo de los mensajes del usuario y establecer límites de confianza entre el LLM y las fuentes externas. .
Por último, AI Exchange analiza el riesgo de filtrar datos de entrada confidenciales en tiempo de ejecución. Piense que GenAI solicita que se divulgue a una parte que no debería serlo, como a través de un escenario de atacante en el medio. Las indicaciones de GenAI pueden contener datos confidenciales, como secretos de la empresa o información personal que los atacantes tal vez quieran capturar. Los controles aquí incluyen proteger el transporte y el almacenamiento de los parámetros del modelo a través de técnicas como control de acceso, cifrado y minimizar la retención de mensajes ingeridos.
La colaboración comunitaria en materia de IA es clave para garantizar la seguridad
A medida que la industria continúa el camino hacia la adopción y exploración de capacidades de IA, es fundamental que la comunidad de seguridad continúe aprendiendo cómo proteger los sistemas de IA y su uso. Esto incluye aplicaciones y sistemas desarrollados internamente con capacidades de IA, así como también la interacción organizacional con plataformas y proveedores de IA externos.
OWASP AI Exchange es un excelente recurso abierto para que los profesionales profundicen y comprendan mejor tanto los riesgos como los posibles vectores de ataque, así como los controles y mitigaciones recomendados para abordar los riesgos específicos de la IA. Como Rob van der Veer, pionero de OWASP AI Exchange y líder en seguridad de IA fijado Recientemente, una gran parte de la seguridad de la IA es el trabajo de los científicos de datos y los estándares y directrices de seguridad de la IA, como AI Exchange, pueden ayudar.
Los profesionales de la seguridad deben centrarse principalmente en los controles azules y verdes enumerados en el navegador OWASP AI Exchange, que a menudo incluye la incorporación de controles y técnicas de seguridad cibernética y de AppSec de larga data en sistemas que utilizan IA.