Google ha anunciado que es de código abierto. magiauna herramienta impulsada por inteligencia artificial (IA) para identificar tipos de archivos y ayudar a los defensores a detectar con precisión tipos de archivos binarios y textuales.
«Magika supera a los métodos convencionales de identificación de archivos, proporcionando un aumento general del 30 % en la precisión y hasta un 95 % más de precisión en contenidos tradicionalmente difíciles de identificar, pero potencialmente problemáticos, como VBA, JavaScript y Powershell», dijo la empresa. dicho.
El software utiliza un «modelo de aprendizaje profundo personalizado y altamente optimizado» que permite la identificación precisa de tipos de archivos en milisegundos. Magika implementa funciones de inferencia utilizando Open Neural Network Exchange (ONNX).
Google dijo que utiliza internamente Magika a escala para ayudar a mejorar la seguridad de los usuarios al enrutar los archivos de Gmail, Drive y Safe Browsing a los escáneres de políticas de contenido y seguridad adecuados.
En noviembre de 2023, el gigante tecnológico presentó RETVec (abreviatura de Resilient and Efficient Text Vectorizer), un modelo de procesamiento de texto multilingüe para detectar contenido potencialmente dañino como spam y correos electrónicos maliciosos en Gmail.
En medio de un debate en curso sobre los riesgos de la tecnología en rápido desarrollo y sus abuso por parte de actores del estado-nación Asociado con Rusia, China, Irán y Corea del Norte para impulsar sus esfuerzos de piratería, Google dijo que implementar IA a escala puede fortalecer la seguridad digital e «inclinar el equilibrio de la ciberseguridad de los atacantes a los defensores».
También destacó la necesidad de una enfoque regulatorio equilibrado al uso y adopción de la IA para evitar un futuro en el que los atacantes puedan innovar, pero los defensores se vean restringidos debido a las opciones de gobernanza de la IA.
«La IA permite a los profesionales y defensores de la seguridad escalar su trabajo en la detección de amenazas, análisis de malware, detección de vulnerabilidades, reparación de vulnerabilidades y respuesta a incidentes», Phil Venables y Royal Hansen del gigante tecnológico. anotado. «La IA ofrece la mejor oportunidad para cambiar la situación El dilema del defensore inclinar la balanza del ciberespacio para dar a los defensores una ventaja decisiva sobre los atacantes».
También han surgido preocupaciones sobre el uso que hacen los modelos generativos de IA de datos extraídos de la web con fines de capacitación, que también pueden incluir datos personales.
«Si no sabes para qué se va a utilizar tu modelo, ¿cómo puedes garantizar que su uso posterior respete la protección de datos y los derechos y libertades de las personas?», dijo la Oficina del Comisionado de Información del Reino Unido (ICO). señaló el mes pasado.
Es más, una nueva investigación ha demostrado que los grandes modelos de lenguaje pueden funcionar como «agentes durmientes» que pueden ser aparentemente inofensivos pero que pueden programarse para participar en comportamientos engañosos o maliciosos cuando se cumplen criterios específicos o se proporcionan instrucciones especiales.
«Este comportamiento de puerta trasera puede volverse persistente para que no se elimine mediante técnicas estándar de capacitación en seguridad, incluido el ajuste supervisado, el aprendizaje por refuerzo y el entrenamiento adversario (que provoca un comportamiento inseguro y luego se entrena para eliminarlo), afirman investigadores de la startup de inteligencia artificial Anthropic. dicho en el estudio.
