El experto en tecnología Jordi García Castillón: “El gran error de las empresas con la IA es implantarla antes de saber protegerla"
Elígenos como tu fuente preferida en Google.
Jordi Garcia Castillón, experto en IA, ciberseguridad y cloud y director de CibraLAB, avisa de que las empresas implantan inteligencia artificial sin saber protegerla: el prompt injection convierte un documento o correo en órdenes para el sistema y, con agentes conectados, en acciones peligrosas.
Incorporar inteligencia artificial a una empresa puede parecer una tarea exclusivamente centrada en ahorrar tiempo, automatizar tareas y mejorar resultados. Sin embargo, el experto en tecnología Jordi Garcia Castillón, especialista en IA, ciberseguridad y servicios en la nube y director del laboratorio CibraLAB, propone revisar lo que sucede cuando esas aplicaciones comienzan a manejar la información o intervenir en procesos de trabajo: un asistente que resume correos o un agente de IA con acceso al calendario y a las bases de datos también puede ser manipulado por el propio contenido que analiza.
Es la idea que resume el título de la ponencia que acaba de dar en Tarragona y que compartió en LinkedIn: "El gran error de las empresas con la IA es implantarla antes de saber protegerla". En sus publicaciones, el experto destaca la atención que merecen los sistemas y cómo se comportan cuando reciben instrucciones contradictorias, con un planteamiento que invita a mirar más allá de una respuesta aparentemente correcta y que pasa por probar la IA antes de confiar en ella, separar los datos de las órdenes y mantener una supervisión humana real.
El especialista en inteligencia artificial, ciberseguridad y servicios en la nube defiende el desarrollo tecnológico, pero al mismo tiempo insiste en la importancia de evaluar correctamente sus riesgos. En una publicación rechaza expresamente frenar la IA y sostiene que avanzar de forma segura es posible, pero aun así advierte de que la implementación empresarial se debe entender dentro de una apuesta firme por integrar la tecnología con criterios de protección y control.
Jordi García Castillón tiene claro que el gran error de las empresas con la IA es implantarla antes de saber protegerla, puesto que una instrucción maliciosa puede introducirse dentro del material que intenta ordenar al sistema. Es un documento que trata de conseguir que el sistema ignore las instrucciones previas y oculte los riesgos, de modo que el contenido que debía examinarse trata de dirigir la respuesta.
Evaluar cómo se comporta la IA antes de confiar en ella
El experto en tecnología señala que las consecuencias pueden aumentar cuando se trata de agentes conectados a herramientas empresariales. Una manipulación de los mismos puede traducirse en envíos de información sensible, modificaciones de registro u otras acciones peligrosas. La cuestión no solo se limita a la calidad del texto generado, sino a aquello que el sistema puede llegar a ejecutar.
Una de las distinciones que destaca es la separación entre datos y órdenes, ya que un correo o una página consultada puede aportar información, pero eso no debería otorgarles autoridad para cambiar las reglas del sistema. Mantener esa frontera es clave para afrontar el problema del que advierte Jordi García Castillón.
El experto desarrolla un enfoque que denomina seguridad cognitiva y que consiste en estudiar la respuesta del sistema frente a las contradicciones, presiones e intentos de manipulación. Reconoce que la protección informática tradicional conserva funciones útiles, pero puede ser insuficiente para abordar los riesgos de los sistemas avanzados de IA.
En una de sus publicaciones de LinkedIn, el experto propone repetir una prueba con formulaciones diferentes, introduciendo premisas falsas o aportando evidencias que contradigan una conclusión. La finalidad no es otra que poder observar si la inteligencia artificial mantiene criterios consistentes, cuestionar la información incorrecta y puede rectificar. No obstante, Jordi García recalca que acertar una respuesta no demuestra por sí mismo que el comportamiento sea estable ni permite garantizar que sea seguro.
La postura del experto es clara al respecto de cómo debe actuar una empresa, recalcando que es importante incorporar protección desde el diseño, establecer mecanismos de gobierno, facilitar la trazabilidad y mantener una supervisión humana efectiva.
Para una empresa, esta combinación plantea una evaluación más amplia que comprobar cuánto trabajo ahorra una aplicación en su operativa diaria. Muchas compañías cometen el error de poner en marcha soluciones de inteligencia artificial sin pararse a valorar las instrucciones que acepta y cómo podría responder ante una posible manipulación, siendo muy importante tenerlo en cuenta para evitar importantes riesgos de seguridad.