Es necesario hacer más para abordar la falta de habilidades y recursos en torno a la integración y la seguridad de la IA, dijo Maria Markstedeter, directora ejecutiva y fundadora de Azeria Labs, a la audiencia en la reciente conferencia Dynatrace Perform 2024 en Las Vegas.
Para combatir los riesgos que plantean las nuevas innovaciones, como los agentes de IA y la IA compuesta, los equipos de seguridad y los científicos de datos deben mejorar su comunicación y colaboración.
Habiendo experimentado las frustraciones que trae la falta de recursos a partir de su experiencia en ingeniería inversa. BRAZO procesadores, Markstedter cree que se necesita una mejor colaboración y comprensión para minimizar las amenazas que plantean las integraciones de IA.
«No se pueden encontrar vulnerabilidades en un sistema que no se comprende del todo»
El tamaño y la complejidad cada vez mayores de los datos procesados por los modelos de IA están superando los límites de lo que los equipos de seguridad son capaces de modelar amenazas, especialmente cuando los profesionales de seguridad carecen de los recursos para comprenderlos.
Los nuevos ataques y las nuevas vulnerabilidades «requieren que usted comprenda la ciencia de datos y cómo funcionan los sistemas de inteligencia artificial, pero también al mismo tiempo [have] un conocimiento muy profundo de la seguridad, el modelado de amenazas y la gestión de riesgos», afirma Markstedter.
Esto es especialmente cierto cuando se trata de nuevos sistemas de inteligencia artificial multimodal que pueden procesar múltiples entradas de datos, como texto, audio e imágenes, al mismo tiempo. Markstedter señala que si bien los sistemas de IA unimodales y multimodales difieren mucho en los datos que pueden procesar, la naturaleza general de llamada y respuesta de la interacción entre humanos y IA sigue siendo en gran medida la misma.
«Esta naturaleza transaccional simplemente no es la solución milagrosa que esperábamos. Aquí es donde entran los agentes de IA».
Los agentes de IA presentan una solución a esta naturaleza altamente transaccional al tener esencialmente la capacidad de «pensar» en su tarea y llegar a un resultado final único dependiendo de la información disponible en ese momento.
Esto plantea una amenaza importante y sin precedentes para los equipos de seguridad, ya que «la noción de gestión de acceso e identidad debe reevaluarse porque básicamente estamos entrando en un mundo en el que tenemos un sistema no determinista que tiene acceso a una multitud de datos empresariales y aplicaciones y tiene autorización para realizar acciones no deterministas».
Markstedter sostiene que debido a que estos agentes de IA necesitarán acceso a fuentes de datos internas y externas, existe un riesgo significativo de que estos agentes reciban datos maliciosos que de otro modo podrían parecer no dañinos para un evaluador de seguridad.
«Este procesamiento de datos externos será aún más complicado con la IA multimodal porque ahora las instrucciones maliciosas no tienen que ser parte del texto de un sitio web o de un correo electrónico, sino que pueden ocultarse en imágenes y archivos de audio».
Pero no todo son malas noticias. La evolución de los sistemas compuestos que combinan múltiples tecnologías de IA en un solo producto puede «crear herramientas que nos brinden una experiencia analítica mucho más interactiva y dinámica».
Al combinar el modelado de amenazas con IA compuesta y alentar a los equipos de seguridad a colaborar más estrechamente con los científicos de datos, es posible mitigar en gran medida no solo los riesgos que plantean las integraciones de IA, sino también mejorar las habilidades de los equipos de seguridad.
