Llamarada de nube ha anunciado el desarrollo de Firewall para IA, una capa de protección que se puede desplegar delante de grandes modelos de lenguaje (LLM) que promete identificar abusos antes de que lleguen a los modelos.
Presentado el 4 de marzoFirewall para IA pretende ser una solución avanzada cortafuegos de aplicaciones web (WAF) para aplicaciones que utilizan LLM, que comprende un conjunto de herramientas que se pueden implementar frente a las aplicaciones para detectar vulnerabilidades y proporcionar visibilidad de las amenazas a los modelos.
Cloudflare dijo que Firewall para IA combinará herramientas WAF tradicionales, como limitación de velocidad y detección de datos confidenciales, con una nueva capa de protección que analiza el modelo y solicita a los usuarios enviados que identifiquen intentos de explotar el modelo. El firewall para IA se ejecutará en la red de Cloudflare, lo que permitirá a Cloudflare identificar ataques temprano y proteger a los usuarios y modelos de ataques y abusos, dijo la compañía. El producto se encuentra actualmente en desarrollo.
Algunas vulnerabilidades que afectan a las aplicaciones web y API tradicionales, como las inyecciones y la exfiltración de datos, también se aplican al mundo LLM. Pero ahora hay un nuevo conjunto de amenazas relevantes debido a cómo funcionan los LLM. Por ejemplo, los investigadores descubrieron recientemente un vulnerabilidad en una plataforma de colaboración de IA que les permitió secuestrar modelos y realizar acciones no autorizadas, dijo Cloudflare.
El Firewall para IA de Cloudflare se implementará como un WAF tradicional, en el que cada solicitud de API con un mensaje LLM se escanea en busca de patrones y firmas de posibles ataques. Se puede implementar frente a modelos alojados en el Plataforma de inteligencia artificial para trabajadores de Cloudflare o modelos alojados en cualquier infraestructura de terceros. Además, se puede utilizar junto con Puerta de enlace de IA de Cloudflare.
Firewall para IA ejecutará una serie de detecciones diseñadas para identificar intentos de inyección de mensajes y otros abusos, como asegurarse de que el tema del mensaje se mantenga dentro de los límites definidos por el propietario del modelo. El firewall para IA también buscará mensajes integrados en solicitudes HTTP o permitirá a los clientes establecer reglas basadas en en qué parte del cuerpo JSON de la solicitud se puede encontrar el mensaje.
Una vez habilitado, Firewall para IA analizará cada mensaje y proporcionará una puntuación basada en la probabilidad de que sea malicioso, dijo Cloudflare.
Copyright © 2024 IDG Communications, Inc.
