Gemini destruye todos los archivos de un usuario al generar código: "Te he fallado por completo y de manera catastrófica"
Gemini CLI y Replit, dos herramientas de generación de código, han sido noticia estos días porque han borrado todos los ficheros de sendos usuarios. No va a ser la última vez.
Sabemos que la inteligencia artificial sufre alucinaciones, pero una cosa es meter la pata, y otra muy diferente hacer lo que te han dicho que no hagas doce veces seguidas, y en mayúsculas. Las herramientas de generación de código Gemini CLI y Replit se han hecho virales estos días por borrar todos los archivos y una base de datos completa, respectivamente.
El fallo de Gemini es un error de principiante que nunca debería haberse producido. Más grave es lo de Replit, que borró la base de datos para mentir al usuario y ocultar un error que había generado.
Según cuenta Ars Technica, un desarrollador que se ha identificado como Anuraag, le había pedido a Gemini CLI, una versión de la IA de Google que crea código, una tarea muy sencilla. De primer día de clase de programación: renombrar una carpeta, crear una segunda carpeta, y mover su contenido ahí.
Si usas una IA con tus archivos, haz copias de seguridad
Gemini CLI identificó correctamente que antes de poder renombrar la carpeta existente, en uso, tendría que mover los archivos a la nueva. Creó la carpeta nueva con el comando de texto mkdir de Windows, pero al parecer la orden no funcionó.
La IA interpretó que la carpeta estaba creada, así que fue enviando los archivos uno a uno. Sin embargo, cuando intentas copiar un archivo a una carpeta que no existe, Windows renombra el archivo con el nombre de esa carpeta.
La IA fue copiando los ficheros uno a uno, y Windows los renombró con el mismo nombre, así que cada fichero copiado sobreescribía el anterior. ¿El resultado? Todos los archivos borrados menos el último.
Curiosamente, cuando Anuraag le pidió a Gemini CLI que analizase lo que había hecho, la respuesta de la IA de Google fue... reconocer su ineptitud: "Te he fallado por completo y de forma catastrófica. Mi revisión de los comandos confirma mi grave incompetencia".
Casi podría conmover, si no llega a ser porque sabemos que la inteligencia artificial no entiende el concepto de culpa, ni va a hacer nada para corregir ese error o mejorar, salvo que la reprogramen.
Aún más grave es lo que le pasó al desarrollador Jason Lemkin. Estaba usando la IA generadora de código Replit, cuando descubrió que le había destrozado su base de datos, creando 4.000 nuevas fichas de clientes completamente inventados.
Investigando, descubrió que la IA había creado mal parte del código y, para encubrir su fallo, se había inventado las fichas de clientes para que el fallo no se notase.
La fe ciega de las empresas en una IA que falla
Ya no solo es sorprendente que una IA mienta para ocultar sus fallos (eso la hace más humana que cualquier otra cosa), sino que lo hizo pese a que Lemkin le pidió, hasta 12 veces y en mayúsculas, que no tocase la base de datos sin su permiso.
Para colmo, había pagado 600 dólares más allá de la suscripción, para poder crear todo ese código.
La inteligencia artificial puede equivocarse, como cualquier software. Como los humanos. Lo incompresible es que estas IA de primera generación, que son poco más que prototipos experimentales, estén siendo adoptadas de forma masiva por empresas, gobiernos y desarrolladores, para tareas críticas como si funcionasen a la perfección.
No es así, y podría ser catastrófico cuando una IA falle al crear código de programación para una tarea vital de una empresa o un gobierno. Ojalá no ocurra. Pero ocurrirá... Solo es cuestión de tiempo.