Chema Alonso, hacker ético español: "Ha venido un meteorito, todo lo que hacíamos antes ha cambiado; además, ha llegado un nuevo jugador con muchos problemas"
Elígenos como tu fuente preferida en Google.
Durante la conferencia Ekoparty 22, el hacker español habla sobre cómo la IA está transformando por completo la ciberseguridad y creando nuevos riesgos que hasta hace pocos años no existían.
Chema Alonso, uno de los hackers éticos más conocidos en el mundo de la ciberseguridad, lanzó una advertencia durante su conferencia en Ekoparty 22. Dijo que la inteligencia artificial ha cambiado la forma de buscar vulnerabilidades y realizar ciberataques, pero también ha revelado un nuevo problema para los expertos en seguridad. Y es que ya no basta con proteger los sistemas, porque los modelos de IA tienen debilidades que pueden aprovecharse para alterar su comportamiento y ejecutar acciones no previstas.
Las pruebas de penetración, el análisis de aplicaciones y la búsqueda de fallos están incorporando agentes capaces de investigar sistemas, localizar vulnerabilidades y generar código para explotarlas. Así que el cambio no consiste en que las técnicas tradicionales hayan desaparecido, sino en que la inteligencia artificial permite automatizar y encadenar muchas de esas tareas con una velocidad y una autonomía cada vez mayores.
De este modo, el nuevo jugador son los modelos de IA, cuya capacidad para actuar mediante herramientas y comunicarse con otros agentes abre posibilidades nuevas, pero también introduce riesgos como las alucinaciones, la inyección de instrucciones y los jailbreaks. En la conferencia, Chema Alonso explica cómo varios agentes pueden coordinarse para ejecutar un ataque fragmentado, aunque cada uno parezca estar realizando una tarea inofensiva. También presenta una prueba de concepto para detectar estos comportamientos, un desafío que se complica cuando intervienen cientos o miles de agentes.
Cómo funcionan los ataques fragmentados entre agentes de IA
Los Fragmented Jailbreak Attacks consisten en dividir un objetivo malicioso en varias tareas y repartirlas entre distintos agentes de inteligencia artificial. Significa que, en lugar de pedir a un único modelo que ejecute una operación completa, un sistema coordinador distribuye el trabajo para que cada agente se ocupe de una parte.
Alonso ilustra el problema con una demostración en la que cinco agentes participan en un ataque simulado, donde cada uno ejecuta su tarea sin reconocer necesariamente el propósito general. Pero el riesgo aparece cuando se reúnen todas las acciones y se descubre que forman parte de una misma operación maliciosa.
Cabe señalar que la dificultad está en que revisar cada agente por separado puede no ser suficiente, sobre todo porque una petición aislada puede parecer legítima, aunque forme parte de una secuencia diseñada para vulnerar un sistema. Por eso, Alonso plantea que la detección requiere supervisar las acciones de todos los agentes, sus comunicaciones y el historial de operaciones, incluso cuando las tareas se ejecutan con intervalos de tiempo.
El experto español presenta un monitor experimental que analiza esta actividad para identificar y bloquear comportamientos sospechosos. Según explica, lo ha probado con cinco y cien agentes. Sin embargo, también plantea el reto de llevar esta vigilancia a entornos con miles de agentes distribuidos.
La IA también introduce nuevas vulnerabilidades
Otro de los riesgos destacados es la inyección de instrucciones o prompt injection, en el cual un agente de IA puede encontrar órdenes maliciosas en una página web, un correo electrónico o un documento y darles prioridad sobre las instrucciones originales. Si dispone de permisos para acceder a información o ejecutar acciones, las consecuencias pueden ser más graves que una respuesta incorrecta.
A esto se suman los ya mencionados jailbreaks, que buscan eludir las restricciones de seguridad, y las alucinaciones, que pueden llevar a utilizar bibliotecas, direcciones web o herramientas inexistentes. Chema Alonso también advierte de que los modelos inteligentes permiten automatizar la búsqueda de vulnerabilidades y la creación de exploits.
El desafío, por tanto, no consiste únicamente en desarrollar modelos más seguros, sino que también exige limitar sus permisos, controlar las herramientas que utilizan y supervisar las interacciones entre agentes. Cuanto más autónomos sean estos sistemas, más importante será comprobar no solo qué hace cada uno, sino qué resultado producen todos juntos.