John Hopfield, Premio Nobel de Física, sobre la IA: "Me pone muy nervioso un fenómeno que es tan potente, pero del que no entendemos cómo funciona"

Elígenos como tu fuente preferida en Google.
La inteligencia artificial sorprende por sus capacidades, pero comprender cómo llega a sus respuestas sigue siendo un reto que plantea dudas sobre sus límites y riesgos.
Una inteligencia artificial puede traducir un texto, resumir un documento o escribir código en segundos. Al final, sabemos evaluar el resultado, pero eso no significa que podamos reconstruir con la misma facilidad qué mecanismos internos ha utilizado el chatbot. Cabe señalar que esa distancia entre rendimiento y comprensión está en el centro de uno de los grandes debates sobre la IA. John J. Hopfield, físico vinculado a Princeton y ganador del Nobel de Física de 2024 junto a Geoffrey Hinton, expresó esa inquietud.
Durante una comparecencia ante una sala de la universidad en Nueva Jersey, a la que se conectó por videoconferencia desde Gran Bretaña, habló de una tecnología cuyas capacidades admiraba, pero cuyos límites resultaban difíciles de comprender por completo.
Conocen las matemáticas, la arquitectura y los procesos utilizados para entrenarla. La dificultad aparece cuando el modelo ha aprendido una enorme cantidad de relaciones y se intenta reconstruir qué mecanismos concretos explican una respuesta.
Podemos construir el sistema sin poder explicar cada camino que aprende

Los modelos de IA no reciben una lista exhaustiva de reglas para cada tarea, sino que durante el entrenamiento ajustan enormes cantidades de parámetros y desarrollan representaciones internas que les permiten resolver problemas.
El resultado puede ser útil aunque los investigadores no puedan describir paso a paso qué mecanismos produjeron una salida concreta, y aquí está precisamente la preocupación de John Hopfield.
Y como físico, me inquieta mucho algo que no se puede controlar, algo que no entiendo lo suficientemente bien como para comprender cuáles son los límites a los que se podría llevar esa tecnología.
Cabe señalar que su advertencia no plantea que la IA sea consciente ni que nadie sepa cómo está construida, sino que una tecnología muy potente puede desarrollar comportamientos cuya explicación detallada sigue siendo incompleta.
Al final, eso dificulta anticipar algunos fallos y entender por qué responde de una manera inesperada. La investigación que intenta reducir esa distancia se conoce como interpretabilidad.
Se busca identificar mecanismos internos y relacionarlos con comportamientos observables, algo importante cuando estos sistemas se utilizan en tareas donde un error puede tener consecuencias relevantes.
El científico que creó una memoria artificial ahora reclama más control sobre sus límites

En 1982 publicó uno de los trabajos fundamentales sobre redes neuronales y desarrolló un modelo de memoria asociativa capaz de recuperar un patrón almacenado incluso cuando recibe información incompleta o alterada.
Esa aportación fue una de las bases reconocidas por el Nobel de Física concedido el 8 de octubre de 2024, donde su trayectoria ha combinado física, biología y neurociencia.
Precisamente por esa relación con los fundamentos de la tecnología, su advertencia tiene un peso especial, ya que reconoce los avances de la IA, pero reclama comprender mejor qué estamos construyendo antes de confiar demasiado en sistemas cada vez más capaces.
Un ejemplo es Anthropic, que publicó Tracing the thoughts of a large language model, donde sus investigadores identificaron mecanismos relacionados con algunas tareas realizadas por Claude y siguieron parte de la actividad interna asociada a determinados comportamientos.
El propio trabajo reconoce que esas herramientas solo captan una parte del procesamiento, por lo que observar algunos circuitos no equivale a disponer de una explicación completa de todo lo que ocurre dentro.
Por ello, comprender esos mecanismos puede ayudar a detectar errores y comportamientos inesperados, pero tampoco garantiza por sí solo una inteligencia artificial segura.
Las evaluaciones, la supervisión y la posibilidad de intervenir siguen siendo necesarias, ya que cuanto más capaces sean estos sistemas, más importante será distinguir entre comprobar que funcionan y entender suficientemente por qué lo hacen.
