microsoft ha presentado una nueva herramienta de seguridad destinada a mantener seguras y seguras de usar las herramientas de IA generativa.
LO INTENTASabreviatura de Python Risk Identification Toolkit para IA generativa, ayudará a los desarrolladores a responder a las crecientes amenazas que enfrentan empresas de todos los tamaños por parte de delincuentes que buscan aprovechar nuevas tácticas.
Como la mayoría de ustedes ya saben, las herramientas de IA generativa como ChatGPT Los ciberdelincuentes los utilizan para crear rápidamente código para malwarepara generar (y corregir) correos electrónicos de phishing y más.
Aún se necesita trabajo manual
Los desarrolladores respondieron cambiando la forma en que la herramienta responde a diferentes indicaciones y limitando un poco sus capacidades, y Microsoft ahora ha decidido ir un paso más allá.
Durante el año pasado, la empresa reunió “varios sistemas de IA generativa de alto valor” antes de que llegaran al mercado, y durante ese tiempo, comenzó a crear guiones únicos. «A medida que combinamos diferentes variedades de sistemas de IA generativa y buscamos diferentes riesgos, agregamos características que encontramos útiles», explicó Microsoft. «Hoy en día, PyRIT es una herramienta confiable en el arsenal del Microsoft AI Red Team».
El gigante del software de Redmond también enfatiza que PyRIT de ninguna manera reemplaza la formación de equipos rojos manuales de sistemas de IA generativos. En cambio, la compañía espera que otros equipos rojos puedan utilizar la herramienta para eliminar tareas tediosas y acelerar las cosas.
«PyRIT arroja luz sobre los puntos calientes donde podría estar el riesgo, que el profesional de la seguridad puede explorar de manera incisiva», explica Microsoft. “El profesional de seguridad siempre tiene el control de la estrategia y la ejecución de la operación del equipo rojo de IA, y PyRIT proporciona el código de automatización para tomar el conjunto de datos inicial de indicaciones dañinas proporcionadas por el profesional de seguridad y luego utiliza el punto final LLM para generar indicaciones más dañinas. .”
La herramienta también es adaptable, destaca Microsoft, ya que es capaz de cambiar sus tácticas dependiendo de la respuesta del sistema de IA generativa a consultas previas. Luego genera la siguiente entrada y continúa el ciclo hasta que los miembros del equipo rojo estén satisfechos con los resultados.