Las inyecciones rápidas, la forma más común de ataques LLM, implican eludir filtros o manipular el LLM para que ignore instrucciones previas y realice acciones no deseadas, mientras que el envenenamiento de datos de entrenamiento implica la manipulación de los datos de entrenamiento de LLM para introducir vulnerabilidades, puertas traseras y sesgos.
«El firewall monitorea las indicaciones de los usuarios para identificar y mitigar de manera preventiva posibles usos maliciosos», dijo Jalil. “A veces, los usuarios pueden intentar anular maliciosamente el comportamiento de LLM y el firewall bloquea dichos intentos. También elimina los datos confidenciales, si los hay, de las indicaciones, asegurándose de que los modelos LLM no accedan a ninguna información protegida”.
Además, la oferta implementa un firewall que monitorea y controla los datos recuperados durante el proceso de recuperación de generación aumentada (RAG), que hace referencia a una base de conocimiento autorizada fuera de las fuentes de datos de entrenamiento del modelo, para verificar los datos recuperados en busca de envenenamiento de datos o inyección inmediata indirecta. , añadió Jalil.
Aunque todavía es temprano para las aplicaciones genAI, dijo John Grady, analista principal de Enterprise Strategy Group (ESG), “Estas amenazas son importantes. Hemos visto algunos ejemplos tempranos de cómo las aplicaciones genAI pueden proporcionar información confidencial sin darse cuenta. Se trata de datos, y mientras haya información valiosa detrás de la aplicación, los atacantes intentarán explotarla. Creo que estamos en un punto en el que, a medida que la cantidad de aplicaciones impulsadas por genAI en uso comience a aumentar y existan brechas en el lado de la seguridad, comenzaremos a ver más de este tipo de ataques exitosos en la naturaleza”.
Esta oferta, y otras similares, llenan un vacío importante y serán más importantes a medida que se expanda el uso de genAI, añadió Grady.
Habilitar el cumplimiento de la IA
Los cortafuegos de Securiti LLM también tienen como objetivo ayudar a las empresas a cumplir objetivos de cumplimiento, ya sean legislativos (como el TENGO actuar) o políticas obligatorias internamente (por ejemplo, siguiendo la Norma de gestión de riesgos de IA del NIST estructuraAI RMF).
