Hay una manera de abusar de la herramienta de conversión Hugging Face Safetensors para secuestrar modelos de IA y montar ataques a la cadena de suministro.
Esto es según los investigadores de seguridad de HiddenLayer, quienes descubrieron la falla y publicaron sus hallazgos la semana pasada. Las noticias de los piratas informáticos informes.
Para los no iniciados, Hugging Face es una plataforma de colaboración donde los desarrolladores de software pueden alojar y colaborar en modelos, conjuntos de datos y aplicaciones de aprendizaje automático previamente entrenados.
Cambiar un modelo ampliamente utilizado
Safetensors es el formato de Hugging Face para almacenar tensores de forma segura que también permite a los usuarios convertir modelos de PyTorch a Safetensor mediante una solicitud de extracción.
Y ahí es donde radica el problema, ya que HiddenLayer dice que el servicio de conversión puede verse comprometido: «Es posible enviar solicitudes de extracción maliciosas con datos controlados por el atacante desde el servicio Hugging Face a cualquier repositorio de la plataforma, así como secuestrar cualquier modelo que esté enviado a través del servicio de conversión”.
Entonces, el modelo secuestrado que se supone debe convertirse permite a los actores de amenazas realizar cambios en cualquier repositorio de Hugging Face, afirmando ser el robot de conversión.
Además, los piratas informáticos también pueden exfiltrar tokens SFConversionbot, que pertenecen al bot que realiza las solicitudes de extracción, y vender ellas mismas solicitudes de extracción maliciosas.
En consecuencia, podrían modificar el modelo y establecer puertas traseras neuronales, lo que es esencialmente un ataque avanzado a la cadena de suministro.
«Un atacante podría ejecutar cualquier código arbitrario cada vez que alguien intentara convertir su modelo», afirma la investigación. «Sin ninguna indicación al usuario, sus modelos podrían ser secuestrados durante la conversión».
Finalmente, cuando un usuario intenta convertir un repositorio, el ataque podría provocar el robo de su token Hugging Face, lo que otorga a los atacantes acceso a modelos internos y conjuntos de datos restringidos. A partir de ahí, podrían comprometerlos de varias maneras, incluido el envenenamiento de conjuntos de datos.
En un escenario hipotético, un usuario envía una solicitud de conversión para un repositorio público, cambiando sin saberlo un modelo ampliamente utilizado, lo que resulta en un peligroso ataque a la cadena de suministro.
«A pesar de las mejores intenciones de proteger los modelos de aprendizaje automático en el ecosistema de Hugging Face, el servicio de conversión ha demostrado ser vulnerable y tiene el potencial de provocar un ataque generalizado a la cadena de suministro a través del servicio oficial de Hugging Face», concluyeron los investigadores.
«Un atacante podría afianzarse en el contenedor que ejecuta el servicio y comprometer cualquier modelo convertido por el servicio».
