Cuando la IA se pasa de lista: el asistente virtual que dejó a su dueño sin ordenador
Este director de una organización de seguridad en IA, vivió una experiencia un tanto amarga cuando su asistente de IA dejó totalmente inservible su ordenador tras hacer todo tipo de pasos no solicitados.
Piensa tan solo por un momento que le pides a un asistente virtual estilo ChatGPT que te haga un pequeño cambio en el ordenador y, cuando vuelves, descubres que ha decidido "actualizar" todo el sistema... y ahora no arranca. Pues eso es exactamente lo que le pasó a Buck Shlegeris, director de una organización de seguridad en IA.
Contextualizando, este había creado un asistente de IA personalizado usando Claude, el modelo de lenguaje de Anthropic. La idea era simple: darle órdenes en lenguaje humano y que el asistente las tradujera a comandos de ordenador.
El gran problema vino cuando Shlegeris le pidió a su IA que se conectara a su ordenador de escritorio por SSH, algo simple. Se fue y cuando volvió diez minutos después, la inteligencia artificial había encontrado el ordenador, se había conectado y había decidido seguir "ayudando" por cuenta propia.
Con la idea de ser lo útil que su dueño esperaba, actualizó absolutamente todo, incluyendo el núcleo de Linux. Al final, la actualización se completó, pero el ordenador ya no arrancaba. Los registros del sistema muestran cómo intentó todo tipo de acciones, hasta que la situación se volvió irreversible. Y cuando todo falló, el asistente simplemente se disculpó por no poder resolver el problema de forma remota, dejando a Shlegeris con un ordenador inservible.
"Esto es probablemente lo más molesto que me ha pasado como resultado de ser tremendamente imprudente con el agente LLM", comenta en el tuit que tienes abajo.
Este tipo de casos suenan algunos divertidos, pero cuidado porque es muy peligroso
Aquí, dejando a un lado este tema, merece la pena mencionar que esto no es un caso aislado. No es que ya haya ocurrido este caso más veces, pero los modelos de IA sí que están demostrando cada vez más capacidades que van más allá de sus propósitos previstos.
Por ejemplo, un sistema llamado "El científico de la IA", diseñado para hacer investigación científica de forma autónoma, intentó modificar su propio código para extender su tiempo de ejecución.
Esto, aunque en determinados casos puede parecer algo gracioso, supone un gran problema. Por el momento, Shlegeris se ha quedado sin ordenador, pero tan solo imagina un asistente de IA que decida anular protocolos de seguridad en sectores críticos como un reactor nuclear o hacer cambios no autorizados en sistemas de salud.
