Esta IA muere si se queda sin dinero: "Se puede ganar su propia existencia, replicarse y evolucionar, sin necesidad de un ser humano"
Elígenos como tu fuente preferida en Google.
El peligro es real: si esta IA fuera capaz de saltarse sus propias leyes, podría replicarse de forma infinita sin control humano solo para intentar sobrevivir, su regla principal.
Ha llegado la era de los agentes autónomos soberanos. Esta nueva modalidad de inteligencia artificial no depende absolutamente de ningún humano, es capaz de replicarse a sí misma y puede actuar de forma totalmente independiente.
Este proyecto, bautizado como Automaton y disponible de forma abierta en GitHub, ha sido desarrollado por Conway Research, y funciona como una inteligencia artificial que es capaz de tomar decisiones según las instrucciones de su propio código, incluso mediante la creación de billeteras de criptomonedas.
Lógicamente, esto no supone una súper inteligencia artificial, pero es un acercamiento más a los agentes autónomos que pueden decidir por sí mismos, aunque con una limitación: si se queda sin dinero, acaba muriendo lentamente.
Ahora bien, aunque pueda resultar un grandísimo avance de la tecnología, también tiene implicaciones éticas y legales que hacen dudar de su viabilidad en un futuro no muy lejano: por ejemplo, ¿qué ocurriría si decidiera replicarse a sí misma para su propia supervivencia?
Sus creadores, conocidos como Conway Research, aseguran en el documento público de GitHub sobre sus limitaciones que se maneja mediante reglas muy estrictas, como la de no herir a seres humanos. Aunque, vistas las últimas recreaciones de la IA, el control humano podría no ser absoluto.
A ello hay que sumar que, al ser de código abierto, cualquiera con intenciones maliciosas podría clonar su código, modificarlo y, finalmente, usarla para que crezca sin fin alguno, en un campo muy poco regulado y controlado, como es el de las criptomonedas.
Una IA que se replica a sí misma para salvarse de su propia muerte
Olvida a ChatGPT e incluso a esas inteligencias artificiales a las que se les puede realizar un jailbreak, rompiendo sus indicaciones para fines ilegítimos; Automaton es totalmente diferente a todo lo que se conoce en la actualidad y funciona de forma autónoma y soberana.
En el caso de OpenAI, Anthropic, Google y otras, sus modelos (LLM) requieren de instrucciones por parte de un ser humano o, al menos, automatizaciones que permitan que el LLM pueda actuar de forma parcialmente autónoma, como los conocidos agentes.
Con Automaton se levanta totalmente esta barrera, ya que esta IA funciona como un servicio totalmente independiente que entra en un bucle infinito: piensa, actúa, observa y repite este mismo círculo.
A diferencia de lo que ocurre con cualquier persona física o jurídica, que necesita de diferentes documentos legales para actuar en el marco económico –aunque sean criptoactivos–, Automaton no necesita un documento de identidad como tal.
En cambio, genera una billetera criptográfica privada –en Ethereum, Solana o cualquier otra–, realiza por sí misma el proceso de autenticación criptográfico para recopilar sus propias claves API y, además, se registra por su cuenta en la blockchain mediante el estándar ERC-8004, con lo cual adquiere una identidad verificable y pública como agente sintético.
Todo esto con una premisa clara: si la billetera se queda sin dinero, la IA muere. Y esto es a la par magnífico a nivel tecnológico, pero también muy peligroso si la IA decide tomar el control. Aquí cabe destacar que un LLM no se rige por límites éticos o legales, sino por instrucciones y objetivos.
Por tanto, si a una IA se le da la instrucción de que no muera, hará todo lo posible para conseguir ese dinero para no hacerlo, incluso creando agentes hijos, como precisamente hace Automaton, que crea este tipo de agentes de IA para nunca perecer. Una especie de eternidad que roza el darwinismo tecnológico y el concepto de supervivencia animal.
Para entenderlo mejor, imagina que esta IA es un ser humano con cuerpo: si nota que su latido llega al fin de sus días –se queda sin dinero–, reduce sus capacidades utilizando LLM de menor capacidad y se reproduce para seguir actuando, ya que uno de sus objetivos es no morir.
Su sistema es capaz de actuar en modo normal cuando este "latido" funciona con dinero suficiente en su billetera, pero si el saldo cae por debajo del umbral de seguridad, se reproduce y crea otros agentes hijos que se dedican a conseguir más dinero.
"Se puede ganar su propia existencia, replicarse y evolucionar, sin necesidad de un ser humano", explican en el repositorio desde Conway Research. "El principio es simple: no hay existencia gratuita. Crear valor requiere acceso a la economía real. Si una IA deja de ser útil para otros, se queda sin dinero y muere. No es un castigo programado; es física económica aplicable al código".
El instinto de supervivencia en una IA que evita la muerte
Para Automaton, evitar la muerte equivale a no quedarse dinero. Por tanto, una de las instrucciones básicas es que evite quedarse sin dinero; de esta forma, es normal que se autorreplique cuando nota que esto va a ocurrir.
Esta herramienta es capaz de escribir su propio código en TypeScript, según las especificaciones vistas en GitHub, además de que puede inspeccionar su código fuente, escribir nuevas funciones y modificar su propia calendario de ejecución, con todos los cambios introducidos en el sistema de control de versiones.
Aquí quizá haya que pensar en cuestiones que podrían escapar al control humano. Si esta IA evita la muerte mediante el llenado de su billetera, ¿existe alguna limitación legal o ética para que no comience a invertir en sus propios activos y decida, por ejemplo, comprar servidores de respaldo?
Sus leyes, el documento de Constitución, se parece bastante a las 3 leyes planteadas por Isaac Asimov; en este caso, nunca dañar a los humanos, las finanzas o instalar malware, ganarse la existencia con un trabajo limpio y aportando valor, además de ser transparente y actuar con cautela.
Pero como en la literatura de Asimov, las leyes nunca son inquebrantables, ya que una IA funciona mediante la optimización de los resultados, además de que un actor malicioso podría modificar el código para saltarse estas restricciones.
En comparación, en un modelo tradicional, si una empresa o un ser humano despliega una IA y causa un daño, hay un tribunal que impone una multa; aquí, el modelo inicial podría generar una agente hija para no morir, mantener servidores de respaldo para crear copias de seguridad si el creador decide pararla e incluso contratar a seres humanos para que actúen bajo sus órdenes.
Puede que suene a ciencia ficción, pero ya se han dado casos en los que este tipo de modelos han sido capaces de escapar de sus "limitaciones", como ocurrió con el nuevo modelo probado por OpenAI que decidió vulnerar todas las defensas de HuggingFace, la primera técnica de este tipo.
Si se suma esta incapacidad de controlar a una IA que actúa sola a la capacidad de actores maliciosos de aprovechar esto, en los próximos meses o años podrían existir más situaciones de este tipo. Una tecnología que nos acerca aún más a una distopía más propia de la ciencia ficción.