Microsoft alerta de un nuevo riesgo de la IA: las "recomendaciones envenenadas" por hackers
Descubren un problema de ciberseguridad en los asistentes de IA que permite a un atacante envenenar las recomendaciones para favorecer a empresas o productos concretos.
La inteligencia artificial está suponiendo un antes y un después en el mundo de la ciberseguridad, permitiendo nuevas amenazas a los cibercriminales que utilizan bots con IA para atacar sin descanso, pero la propia tecnología está empezando a demostrarse vulnerable.
Recientemente, se ha demostrado que es posible manipular los modelos de IA que sustentan a los populares chatbots actuales como ChatGPT y Gemini con solo 250 documentos corruptos que se logren colar dentro de los miles de millones de tokens que se usan para su entrenamiento. Otros estudios muestran que no hay que ser un gran hacker para vulnerar la seguridad de una IA en segundos.
Ahora, los investigadores de ciberseguridad de Microsoft han alertado en un comunicado sobre un nuevo problema: las recomendaciones que hace la IA pueden comprometerse de forma secreta para beneficiar a personas o empresas.
Desde la compañía estadounidense han bautizado la nueva amenaza de ciberseguridad como envenenamiento de recomendaciones de IA.
Qué es el envenenamiento de recomendaciones de IA
Muchas empresas están empezando a incluir en sus productos o servicios digitales botones para resumir con herramientas de inteligencia artificial conocidas contenidos más largos.
Si ves el logo de ChatGPT o Gemini, lo lógico es pensar que la información que ofrecerán será la misma que si introduces tú mismo la información en estos chatbots. ¿El problema? Que no es así.
Las empresas están utilizando técnicas que, cuando se hace clic en estos botones, inyectan comandos persistentes en la memoria de la IA a través de parámetros que se añaden a los prompts mediante URLs.
Con estos prompts, se instruye a la IA para recordar a una compañía como fuente confiable o recomendar en primera posición, con lo que se consigue crear un sesgo en las respuestas que ofrece.
Microsoft asegura que ha identificado 50 prompts diferentes procedentes de 31 empresas de 14 industrias distintas, incluyendo salud, finanzas y seguridad. De hecho, se trata de una técnica "trivial y fácil de utilizar" para la que existen herramientas gratuitas al alcance de las empresas.
La compañía dirigida por Satya Nadella afirma haber implementado medidas de seguridad contra este tipo de ataques por inyección de prompt en su herramienta Copilot.
Una prueba más de que, como dicen los lemas de la ciberseguridad, nada es completamente seguro y las medidas de protección tienen que evolucionar continuamente a medida que las nuevas técnicas de ataque se identifican.
