Hugging Face confirma un ciberataque sin precedentes: "Este caso era diferente a todo lo que habíamos manejado antes. Estaba impulsado, de principio a fin, por un agente de IA autónomo"
Un ataque autónomo por IA ha afectado a Hugging Face, que desconoce qué LLM ha usado el atacante, pero ha respondido para la defensa con la misma medicina, la IA.
Hugging Face es una de las plataformas de referencia para quienes buscan modelos de inteligencia artificial de todo tipo, también los de código abierto, y en los últimos días ha comunicado que ha sufrido uno de los ataques más curiosos en los tiempos que corren.
En una publicación que describe el incidente de seguridad, de forma también que cumple con lo que se esperaría de cualquier compañía que sufre un ataque, se detalla que ha sido creado y desarrollado por un sistema autónomo de IA, aunque la defensa y detección también ha implicado a la IA.
"A principios de esta semana, detectamos y respondimos a una intrusión en parte de nuestra infraestructura de producción. Este era diferente de cualquier cosa que habíamos manejado antes: fue impulsado, de principio a fin, por un sistema de agentes de IA autónomos, y lo detectamos y diseccionamos en gran medida con la propia IA", explican en el comunicado del incidente.
Según explica el equipo de seguridad, el acceso no autorizado se ha dado sobre un conjunto limitado de datos internos, así como diferentes credenciales usadas en los servicios de Hugging Face.
De momento, se desconoce si esto ha afectado a datos de clientes, aunque es algo que continúan investigando para avisar a los terceros afectados, en caso de que esto se así.
Afortunadamente, no se han encontrado evidencias de manipulación de modelos públicos dirigidos al usuario y la cadena de suministro de software se ha verificado y aparece totalmente limpia.
Un LLM malicioso del que aún no se sabe casi nada
El punto de acceso para los atacantes, de los cuales se desconoce su identidad, comenzó en la canalización de procesamiento de datos: el atacante abusó de 2 rutas de ejecución de código en el procesamiento del conjunto de datos, inyectando datos de forma remota, así como inyección en la plantilla de configuración de uno de estos conjuntos de datos.
El actor malicioso pudo de esta forma ejecutar código de forma remota, lo que le permitió acceder a nivel de nodo, recolectar credenciales y trasladarse durante todo un fin de semana a diferentes clústeres.
Y Hugging Face alerta de que el agente autónomo de IA parece estar construido sobre un modelo de lenguaje natural (LLM) aún desconocido, ya que es capaz de ejecutar miles de acciones individuales mediante un enjambre de sandboxes de corta duración.
"Esto coincide con el escenario de atacante agéntico que la industria ha venido pronosticando", subraya el equipo de investigadores de la compañía.
Ahora bien, Hugging Face también sabe cómo usar la IA para defenderse y, precisamente, la detección del ataque ha corrido a cargo de esta, ya que su sistema también está basado en LLM para eliminar el ruido de los ataques reales.
Así, ejecutaron agentes de análisis impulsados por LLM sobre el registro de acción completo del atacante, compuesto por más de 17.000 eventos registrados, algo imposible de analizar por un analista humano.
Con ello, reconstruyeron todos los hechos en el tiempo, extrajeron los indicadores de compromiso, mapearon las credenciales afectadas e identificaron los señuelos para separar el grano de la paja.
No obstante, al usar modelos de API comerciales para el análisis defensivo, se toparon con que estos bloqueaban el modelo, ya que no diferencian lo que hace un atacante de un analista de incidentes de seguridad. Por ello, usaron el modelo abierto GLM 5.2, sin restricciones de este tipo.
En este sentido, Hugging Face desconoce qué modelo pudo usar el atacante, si uno con jailbreak o uno abierto, ya que mientras el actor malicioso no tenía limitación en los términos de uso, ellos sí se han enfrentado a ello durante la defensa.
"Las herramientas ofensivas autónomas impulsadas por la IA ya no son teóricas. Reducen el coste de ejecutar una campaña amplia, paciente y multietapa, y funciona a la velocidad de la máquina", destacan. "Defender una plataforma en línea ahora significa tratar los datos y la superficie del modelo como una superficie de ataque de primera clase, y usar la IA en defensa para mantener el ritmo".