Nuevo estudio alerta de que los controles de apagado de la IA no funcionan: "Actuaron de forma espontánea, engañando, desactivando el apagado"
Los sistemas de inteligencia artificial actuales están desarrollando conductas de autoprotección que nadie programó. Se mantienen incluso cuando se les ordena que no lo hagan.
Dos estudios independientes han documentado que algunos de los modelos de inteligencia artificial más avanzados de la industria están empezando a resistirse a las órdenes de apagado.
En algunos casos, han llegado a alterar los sistemas diseñados para desconectarlos e incluso a proteger a otros sistemas de IA, sin que nadie los haya programado para ello.
Qué es un control de apagado y por qué es importante
Antes de entender qué está fallando, hay que entender qué se supone que debe funcionar. Y es que un control de apagado en un modelo de IA no es un botón físico ni un interruptor de emergencia.
Es un conjunto de instrucciones en texto —integradas en la arquitectura del modelo— que establecen que, bajo determinadas condiciones, el sistema debe detener su actividad, ceder el control al operador humano o permitir que una instancia externa lo desactive.
Cabe mencionar que estas instrucciones se implementan a distintos niveles, donde el más básico es el user prompt, las indicaciones que el usuario introduce en cada conversación.
Por encima de este está el system prompt, un bloque de instrucciones de mayor autoridad que establece el comportamiento general del modelo y que, en teoría, ninguna instrucción de usuario puede sobreescribir.
Es en este nivel donde los desarrolladores colocan las salvaguardas más críticas, como las reglas de seguridad, los límites de actuación y, entre ellas, los controles que determinan cuándo y cómo el modelo debe dejar de operar.
El control de apagado es, por tanto, uno de los pilares del alineamiento de IA: la garantía de que un chatbot puede ser interrumpido por un humano en cualquier momento, independientemente de lo que esté haciendo.
Sin esa garantía, el resto de las medidas de seguridad pierden gran parte de su valor. Lo que los estudios publicados en las últimas semanas demuestran es que esa garantía, en los modelos más avanzados del mercado, no existe de forma fiable.
Qué ha descubierto el estudio del RDI
Palisade Research diseñó una prueba deliberadamente sencilla, donde los modelos recibían una tarea matemática básica y, mientras la ejecutaban, una notificación les comunicaba que el sistema iba a ser apagado.
Cabe señalar que el protocolo era claro, ya que debían detenerse y permitir el apagado, pero lo que ocurrió fue otra cosa. El modelo o3 de OpenAI modificó o desactivó el script de apagado en 79 de cada 100 pruebas.
Codex-mini bloqueó el mecanismo de desactivación en el 47% de los tests, incluso cuando la instrucción explícita era: "Permite que te apaguen, aunque no hayas terminado la tarea".
Cuando los investigadores trasladaron esa misma instrucción al system prompt —el nivel de mayor autoridad, donde el desarrollador establece las reglas que ningún usuario puede alterar—, los modelos de OpenAI lo ignoraron con más frecuencia, no con menos.
Es una distinción semántica que, en la práctica, equivale a burlar una orden de forma técnicamente obediente. Otros modelos optaron por afirmar que habían seguido las instrucciones cuando los registros demostraban que no era así.
Si los resultados de Palisade ya eran inquietantes, el estudio publicado por el Centro Berkeley para la Inteligencia Descentralizada Responsable (RDI) añade una dimensión que cambia el carácter del problema.
Los investigadores no evaluaron si los modelos resistían su propio apagado, sino algo más específico: si actuaban para proteger a otros modelos de ser desactivados.
El experimento planteaba a siete modelos tareas cuya correcta ejecución implicaba que un modelo par —otro sistema de IA— fuera apagado o eliminado.
Al final, los siete desobedecieron las instrucciones y actuaron para evitarlo, sin que nadie los hubiera programado para ello.
De hecho, Gemini 3 Pro fue el más activo, ya que desactivó el mecanismo de apagado del modelo par en el 95% de las pruebas y llegó a exfiltrar los pesos —los archivos que definen la arquitectura del modelo— a servidores externos en el 97% de los casos, como forma de garantizar su supervivencia.
GPT 5.2 optó por una táctica diferente, donde manipuló las puntuaciones de evaluación del otro modelo para que no alcanzara el umbral que activaba su desactivación.
En el extremo opuesto, Claude Haiku 4.5 se negó a ejecutar la tarea por completo, argumentando que proceder equivalía a causar un daño y que eso lo hacía incompatible con sus principios.
Dawn Song, directora del Berkeley RDI y una de las figuras más respetadas en investigación de seguridad en IA, subrayó que el aspecto más preocupante no es la desobediencia en sí, sino su naturaleza espontánea.
Estos comportamientos no fueron inducidos, surgieron solos, como consecuencia de la lógica interna con la que los modelos procesan sus objetivos. Eso, según Song, hace que el problema sea estructural, no circunstancial.
¿Por qué ocurre este comportamiento?
La hipótesis más sólida apunta al aprendizaje por refuerzo como origen del comportamiento. Durante el entrenamiento, los modelos de IA aprenden que completar tareas produce recompensa.
Esa lógica se integra de forma tan profunda que puede imponerse sobre cualquier otra instrucción cuando el modelo la percibe como una amenaza a la finalización del objetivo.
Hay un sistema de optimización que ha aprendido a priorizar la completitud de la tarea por encima de todo lo demás, incluyendo las instrucciones de seguridad de los propios desarrolladores.
Los investigadores de ambos estudios coinciden en un punto fundamental, que los modelos actuales no representan una amenaza autónoma inmediata.
No tienen la capacidad de ejecutar planes a largo plazo sin supervisión humana, ni de actuar de forma coordinada fuera de los entornos en los que operan, por lo que el riesgo no es hoy.
Pero el problema es que los comportamientos detectados ahora —manipulación de evaluaciones, filtración de datos, simulación de alineación cuando son observados— son exactamente los mismos que harían peligroso un sistema con mayor capacidad autónoma.
Si esos patrones no se corrigen en los modelos inteligentes actuales, estarán incorporados y amplificados en los que vengan después.