Activista por la seguridad de la IA hace saltar las alarmas: "La amenaza es similar a los cálculos de Oppenheimer para la bomba nuclear"
Max Tegmark plantea que compañías como OpenAI deberían llevar a cabo evaluaciones de riesgo para evitar que una IA superinteligente llegue a escapar al control humano. Compara la situación con los riesgos calculados antes de la primera prueba nuclear.
En 1945, antes de detonar la primera bomba atómica en el desierto de Nuevo México, un reducido grupo de físicos debatía si aquella explosión experimental podría, en el peor de los escenarios, encender la atmósfera terrestre y acabar con toda forma de vida.
La conclusión, tras semanas de cálculos, fue que la probabilidad era extremadamente baja, pero aun así, la posibilidad existía. La detonación de Trinity marcó un antes y un después en la historia de la humanidad y hoy, décadas más tarde, se advierte que nos encontramos ante una amenaza comparable.
Max Tegmark, profesor del MIT y una de las voces más activas en la defensa de un desarrollo responsable de la inteligencia artificial, ha lanzado una advertencia que recuerda a ese momento crítico de la historia moderna.
Según él, el avance sin control de ciertos sistemas inteligentes podría suponer un riesgo similar al que asumieron los creadores de la bomba nuclear. "Las empresas que desarrollan IA generativa deben calcular si perderemos el control sobre ella. No vale con decir que creen que todo irá bien".
Tegmark propone que se realicen cálculos precisos y públicos sobre la probabilidad de que una superinteligencia —un sistema que supere en todos los aspectos la capacidad humana— llegue a escapar del control de sus desarrolladores.
Es lo que él llama la "constante de Compton", un término que toma prestado de los análisis de riesgo que precedieron a la prueba nuclear de Oppenheimer y sus colegas, por lo que no es cualquier declaración, sino una que tiene buenos fundamentos.
¿Qué es la constante de Compton y qué relación tiene con la IA?
La idea es sencilla de entender, aunque compleja de aplicar. Así como en 1945 se estimó numéricamente el riesgo de una reacción en cadena descontrolada en la atmósfera, Tegmark sugiere hacer lo mismo con los sistemas de IA avanzados: calcular qué probabilidad hay de que, una vez desplegados, no puedan ser detenidos o dirigidos por humanos.
Este índice de riesgo permitiría comparar resultados entre empresas y establecer un marco común para evaluar si es prudente seguir avanzando.
El experto insiste en que esta medición debe ser asumida como responsabilidad directa por quienes construyen los sistemas (OpenAI), y no como una cuestión académica. Si varias compañías obtienen cifras similares, dice, se podría crear una base técnica sólida para impulsar acuerdos de seguridad a nivel internacional.
La preocupación de Max Tegmark no surge de la nada, porque en 2023, poco después del lanzamiento de ChatGPT y el auge de modelos generativos, él fue uno de los impulsores de una carta abierta que pedía una pausa temporal en el desarrollo de tecnologías de IA avanzadas.
Cabe señalar que la misiva fue firmada por más de 33.000 personas, entre ellas Elon Musk, Steve Wozniak y decenas de investigadores de renombre.
La carta alertaba de una "carrera fuera de control" entre laboratorios de inteligencia artificial, en la que el afán por innovar y dominar el mercado estaba dejando atrás cualquier consideración de seguridad, transparencia o supervisión.
Es por esta razón que Tegmark, como cofundador del Future of Life Institute, ha mantenido desde entonces una postura firme, en la cual afirma que es posible avanzar sin renunciar a la precaución.
"El futuro de la IA no se va a ganar hablando solo de seguridad". Esa declaración, que prioriza la competitividad tecnológica frente a la prudencia, refleja la tensión existente entre quienes quieren establecer límites y quienes temen perder terreno si se ralentiza el desarrollo.
El activista, por su parte, cree que ese equilibrio está empezando a corregirse. Según él, tras una etapa de escepticismo, el ambiente internacional se muestra más receptivo a establecer reglas, por lo que la colaboración entre empresas, gobiernos y científicos parece haber tomado un nuevo impulso.
La historia no se repite, pero deja lecciones, y si una vez se detuvo el mundo para calcular el riesgo de destruir la atmósfera con una bomba atómica, quizá hoy merezca la pena detenerse unos días para hacer otro tipo de cálculo.
Uno que mida hasta qué punto podríamos perder el control sobre la tecnología que estamos a punto de adoptar en el día a día. Porque si bien la IA no es prueba nuclear, también puede escapar del control, y esa posibilidad, aunque remota, debería medirse con la misma seriedad que se midió en 1945.