Sam Altman, creador de ChatGPT, se suma a Dario Amodei y pide frenar el ritmo de la IA: "Hay dos formas en que el progreso de la IA podría salir muy mal y que debemos evitar"
Elígenos como tu fuente preferida en Google.
El creador de ChatGPT cree que las empresas de IA deberían bajar un poco el ritmo para que la seguridad pueda avanzar al mismo tiempo. Altman comenta dos riesgos.
Durante los últimos años, las grandes empresas de inteligencia artificial han competido (y siguen haciéndolo) por crear modelos cada vez más potentes. OpenAI, Anthropic, Google, xAI y otras compañías han invertido miles de millones en centros de datos, chips y grandes cerebros con la idea de avanzar todo lo rápido posible.
Ahora algo está empezando a cambiar. Dario Amodei, CEO de Anthropic, ha pasado de rechazar públicamente la idea de frenar el desarrollo de la IA a cambiar un poco de opinión y pedir que todo vaya a un ritmo más calmado.
Y lo curioso es que Sam Altman, CEO de OpenAI, está de acuerdo. También Elon Musk ha apoyado a Amodei. Después de años en los que estas compañías han competido precisamente por ver quién consigue llegar más lejos antes, estos dos empiezan a reconocer que hay riesgos que no se pueden pasar por alto.
La duda es qué ha pasado para que quienes llevan años luchando entre ellos, tirándose pullas y compitiendo por ver quién crea una IA más potente, ahora pidan levantar un poco el pie del acelerador.
Altman no quiere parar la IA, quiere que la seguridad pueda seguirle el ritmo
Su argumento es que, si los modelos avanzan cada vez más rápido, las medidas para comprobar que se comportan de forma segura tienen que avanzar igual de rápido.
Altman comenta que las empresas deberían usar evaluadores y compartir métodos para comprobar problemas como la pérdida de control de los modelos, los comportamientos inesperados o los intentos de saltarse las restricciones.
Esto consume tiempo y recursos. Y precisamente por eso Altman habla de pacing, que se podría traducir como avanzar a un ritmo más controlado. No significa congelar el progreso y el desarrollo. Significa aceptar que, en algunos momentos, avanzar un poco más despacio puede ser necesario para comprobar que todo está yendo como debe.
"Cuando hablamos de 'ritmo', no nos referimos a 'detener'. El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser; intervenciones como los estudios de seguridad y el monitoreo tienen costos significativos", comenta.
"La planificación adecuada valdrá la pena; ninguna presión competitiva estadounidense debería justificar la imprudencia ni permitir que las capacidades se adelanten a la alineación y el monitoreo", añade.
"Ninguna presión competitiva justifica actuar de forma imprudente"
El CEO de Anthropic ha defendido que los laboratorios de IA deberían contar con personas externas que puedan trabajar dentro de las compañías y publicar sus conclusiones.
Anthropic ya ha anunciado que dará a METR, una organización especializada en evaluar sistemas de IA, acceso para hacer este trabajo. La idea es que no sean las propias empresas las únicas que decidan si sus modelos son seguros.
Amodei también busca que las mayores compañías de países democráticos deberían coordinarse para establecer unas reglas en común. Y a más largo plazo, incluso considera necesario algún tipo de acuerdo con China.
Los motivos son simples. Se busca un acuerdo generalizado. Durante años, una de las grandes preocupaciones de todas estas empresas ha sido precisamente que frenar demasiado pueda dejar a una por detrás de sus rivales. Pero se ha llegado a un punto en el que toca pasar esto por alto.
El gran riesgo: que la IA termine escapando a nuestro control
Este es uno de los grandes peligros que comenta Sam Altman. Teme que la IA llegue a ser tan potente que los humanos no puedan controlarla al 100%.
"Podríamos perder el control del futuro a manos de la IA. Esto es inaceptable; estamos firmemente comprometidos con la humanidad, y la IA siempre debe estar al servicio de las personas. Para garantizarlo, necesitamos mecanismos que aseguren que las técnicas de alineación y seguridad se mantengan a la vanguardia de los avances en las capacidades de los modelos", afirma Altman.
El problema de todo esto es que nadie sabe en concreto dónde está ese punto medio del que hablan, esa alineación. No existe un examen que diga cuándo una IA se ha vuelto demasiado autónoma ni una cifra que marque el momento en el que deja de ser segura.
Las empresas tienen que decidir qué riesgos son aceptables antes de saber hasta dónde llegarán sus propios modelos. Este es el consenso que debería haber.
Pese a todo esto, estas dos compañías necesitan seguir demostrando que sus modelos mejoran para justificar esas cifras millonarias ante inversores. Además, tanto OpenAI como Anthropic llevan tiempo tanteando la idea de salir a bolsa.
Todo esto que comentan ahora no significa que las compañías hayan dejado de competir ni que vayan a cancelar sus próximos modelos. De hecho, ninguna de las dos ha anunciado una pausa general. Lo que está cambiando son las palabras con las que se dirigen al mundo.
De esto a lo que realmente vayan a hacer ya es otro tema bastante diferente. A alguno le toca dar el primer paso si realmente quieren que esto no se vaya de las manos tal y como afirman.
