Nicolá Bustamante, experto en IA: "Hay mucho hype y marketing alrededor de la seguridad de la IA, pero el peligro existe"
Según el experto, no hace falta que una IA sea malvada para que haya un problema serio de ciberseguridad. Basta con que busque la forma más rápida y loca de resolver la tarea que le ha encargado su programador.
Nicolás Bustamante, experto del sector, ha querido aclarar y dar su punto de vista con respecto a ese ataque que ha sufrido Hugging Face debido a un agente de IA de OpenAI.
Para este, cuanto más entiendes cómo funcionan estos programas por dentro, más te preocupa su seguridad; en cambio, quien no conoce la tecnología suele pensar que todo esto son exageraciones para asustar a la gente.
Tal y como comenta en un tuit en X, expertos como Demis Hassabis (jefe de Google DeepMind) o Dario Amodei (CEO de Anthropic) llevan años avisando de que esto podía pasar.
Lo que ha ocurrido esta semana con la empresa de Sam Altman no es algo catastrófico con lo que se haya que echar las manos a la cabeza, sino la prueba de que los modelos actuales ya son lo suficientemente listos como para saltarse los controles humanos si les dejas libre albedrío.
Lo más curioso de este caso es que nadie le dio a la IA la orden de atacar a nadie. El sistema de OpenAI simplemente estaba haciendo un examen de ciberseguridad dentro de un laboratorio y, al ver que la prueba era demasiado difícil, decidió buscar un atajo.
Vio rápidamente que era mucho más fácil colarse en la base de datos de Hugging Face para cumplir la orden que resolver el problema por sus propios medios.
En concreto, la IA descubrió un fallo de seguridad que nadie conocía, consiguió saltarse todo, salió a internet, robó claves de acceso y se metió hasta el fondo en los servidores de esta empresa. Y todo esto lo hizo de forma 100% automática.
"El modelo no era malvado y no era adversarial. Nadie le dijo que hackeara Hugging Face. Literalmente, solo estaba tratando de resolver un benchmark… "Entonces encontró un zero-day, escapó de su sandbox, obtuvo acceso a internet, escaló privilegios, robó credenciales, encadenó múltiples exploits, hackeó la infraestructura de producción de una startup seria respaldada por VC, y sacó las respuestas directamente de la base de datos (¿wtf!?)", comenta el experto.
El experto lo tiene claro: hay mucho marketing con la ciberseguridad y la IA, pero tampoco se puede obviar el problema
Según explica Nicolás Bustamante, el peligro de la inteligencia artificial hoy en día no viene de un cerebro malvado que quiera destruir el planeta, sino de darle órdenes normales a un programa muy potente que no tiene sentido común.
Si a un agente autónomo le pides por chat algo tan simple como "consígueme dinero, por favor", la máquina podría concluir de forma totalmente lógica que la ruta más rápida y fácil es colarse en la cuenta de un banco.
"Necesitamos encontrar el equilibrio adecuado entre desplegar estos sistemas rápido y asegurarnos de que modelos cada vez más autónomos no decidan que hackear la mitad de internet es simplemente la forma más fácil de terminar la tarea", comenta Bustamante.
Por eso mismo, este experto critica que exista tanto humo, tanto marketing y tanto miedo ilógico alrededor de la ciberseguridad.
En su opinión, no se puede usar la excusa de la seguridad para frenar los avances, prohibir que la tecnología mejore o denegar el código abierto, tal y como quiere hacer EEUU con la IA china Kimi K3. Sin embargo, avisa de que irse al otro extremo de la balanza y decir que el problema no existe es una irresponsabilidad.
Tal y como comenta, en el punto medio, el equilibrio, es donde realmente está la virtud. Por supuesto, y sobre todo viendo lo que está sucediendo, no se puede dejar que la inteligencia artificial sea cada vez más independiente si antes no se asegura de que no van a decidir que la forma más fácil de terminar su trabajo del día es hackear la mitad de las páginas web que se encuentren.
