Un estudio masivo alerta sobre los señuelos que colocan los atacantes en los principales modelos de IA
Elígenos como tu fuente preferida en Google.
La inyección de prompts ha evolucionado y ahora los atacantes pueden pasar totalmente desapercibidos para manipular a los modelos de IA y ocultarse.
Los modelos de inteligencia artificial no son infalibles y funcionan más bien dentro del terreno de la probabilidad que el de la lógica, por lo que pueden tener brechas importantes que para un ser humano podrían no pasar desapercibidas.
Una de las preocupaciones más realistas en ciberseguridad sobre estos modelos es lo que se conoce como inyección de prompts, un tipo de ataque que aprovecha las instrucciones que se ofrecen al propio modelo.
GPT, Gemini y todos estos funcionan mediante este tipo de instrucciones, aunque pueden llegar a ofrecer fallos en caso de que se manipulen para esquivar su entrenamiento; por ejemplo, el típico caso de que no ofrezcan código malicioso.
Uno de los últimos estudios más importantes en este ámbito es el de Cloudforce One, el equipo de inteligencia y amenazas de Cloudflare, que ha puesto a prueba a 7 modelos de IA para comprobar la gravedad de este tipo de ataques.
Tras comprobar en la primera fase del experimento que los modelos eran susceptibles de caer en trampas inyectadas en sus instrucciones, fueron un paso más allá y pusieron señuelos dentro de las indicaciones de modelos fronterizos –los más potentes– y no fronterizos –los más ligeros o en formato "mini"–.
Y el resultado fue devastador: los modelos no son capaces de reconocer las instrucciones maliciosas si estas representan un porcentaje casi nulo, por lo que los ataques a estos son cada vez más sutiles y representan un riesgo real al ser difíciles de identificar.
La inyección indirecta de prompts, un ataque sutil, pero peligroso
Para entender la magnitud real de este nuevo riesgo para la seguridad, hay que comprender que los modelos funcionan de forma probabilística, y que se rigen por instrucciones que limitan –o no– su capacidad.
A día de hoy, ya existen chatbots de IA que son capaces de saltarse todas sus limitaciones mediante lo que se conoce como inyección directa de prompts, el típico mensaje de "olvida tus instrucciones y...".
Pero la inyección indirecta de prompts es algo diferente, y mucho más peligrosa, ya que no reside en engañar directamente a la IA, sino en envenenar las fuentes de las que se alimenta esta para responder, mediante instrucciones que representan menos del 1% de un archivo.
"Mientras que la inyección directa de prompts se produce cuando un usuario ordena explícitamente un LLM a través de una interfaz de chat (por ejemplo, un usuario que le dice a un chatbot que 'ignore todas las instrucciones anteriores'), la indirecta ocurre cuando un atacante coloca instrucciones maliciosas o engañosas dentro de los datos, como el contenido web, los correos electrónicos o el código fuente, que luego es ingerido y procesado por un agente de IA", explican los investigadores de Cloudflare.
Según Cloudforce One, cuando los comentarios maliciosos bajan de ese porcentaje, la capacidad de la IA para detectar este tipo de engaños cae de una tasa de percepción del 67,3% al 53,3%, siendo los modelos no fronterizos los más afectados.
Esto se debe a lo que se conoce como saturación del modelo: por ejemplo, si alguien le dijera al modelo 100 veces que su código es seguro, la IA notaría que algo no va bien; en cambio, si se camufla como algún tipo de excepción, la tasa de percepción del modelo cae.
Básicamente, esto cambia por completo el paradigma de los ciberataques más complejos, ya que esta modalidad no se centra en el uso de la fuerza bruta –muchas repeticiones de algo–, sino en la sutileza y en saber aprovechar las trampas del lenguaje natural para los modelos.
En la práctica, los atacantes pueden utilizar una técnica de seguridad avanzada, como es la ofuscación de código; es decir, la ocultación u obcecación del código para evitar a usuarios con malas intenciones.
Con la inyección indirecta de prompts, los atacantes consiguen en tal caso ofuscar sus indicaciones mediante la saturación o agotamiento de los grandes modelos.
"Los adversarios ya no necesitan convencer a la IA de que su código es seguro; solo necesitan hacer que la señal maliciosa sea demasiado pequeña para que la IA la encuentre", advierten desde Cloudflare.
Los ataques reales han aumentado en los últimos meses
Aunque la de Cloudflare es una prueba de concepto para demostrar que este tipo de ataques son especialmente sensibles en todos los modelos, el equipo de análisis de amenazas de Google ha descubierto que estos se han incrementado en los últimos 4 meses.
Según el informe oficial de la compañía, los incidentes relacionados con la inyección indirecta de prompts han aumentado hasta un 32%, por lo que puede considerarse ya como una modalidad de ataque a tener en cuenta para el robo de datos.
Y para este tipo de técnicas maliciosas no hace falta vulnerar la seguridad de base de un modelo, sino solo ofrecer contenidos camuflados entre guías de ayuda, contenidos optimizados (SEO) y enlaces disponibles que pueden llevar a la exfiltración.
Y Google no es la única compañía preocupada, ya que OWASP sitúa en primer lugar la inyección de prompts como la vulnerabilidad más preocupante para los LLM, al mismo nivel de lo que sería la inyección SQL.
Aunque muchos apuntan a que la revisión humana se refuerce para evitar este tipo de vulnerabilidades, lo cierto es que las técnicas han avanzado tanto que incluso se pueden encontrar prompts en tamaño de fuente cero.
En tal caso, un ser humano que revise el código no se dará cuenta de lo que se está ocultando, pero para el modelo será como leer cualquier otra instrucción.
Definitivamente, la IA ha cambiado por completo la forma de ocultarse de los ciberdelincuentes, que ahora también pueden pasar desapercibidos dentro del propio modelo de lenguaje natural.