Sam Altman y Dario Amodei quieren ralentizar la IA y Jensen Huang, CEO de Nvidia, responde: "Se lo están inventando"
Elígenos como tu fuente preferida en Google.
Varias de las grandes figuras del sector de la IA piden más control y pisar el freno ante algo que consideran incontrolable y peligroso. El CEO de Nvidia cree que algunas de estas predicciones no tienen una base científica.
Teniendo en cuenta la velocidad a la que avanza la inteligencia artificial, hasta sus propios creadores (algunos de ellos) están pidiendo que se levante el pie del acelerador. En concreto, Dario Amodei, CEO de Anthropic, y Sam Altman, CEO de OpenAI, concuerdan en que se debería dar más tiempo a los sistemas de seguridad antes de lanzar modelos cada vez más potentes.
Todo este debate, que ya lleva años dando de qué hablar, ha vuelto ahora a coger fuerza después de que Jacob Coxon, un investigador que ha trabajado en OpenAI y Anthropic, dejara la compañía y asegurara que algunas personas dentro de estas empresas están preocupadas por lo rápido que está avanzando la tecnología.
Aunque muchos no le han considerado como una figura que realmente conozca a fondo los entresijos de estas compañías, ha sido suficiente para que el tema vuelva a ser comentado.
Hace unos días, Amodei pidió que el desarrollo de los modelos más avanzados se haga con algo más de calma, mientras que Altman ha dicho que está de acuerdo con la idea. Elon Musk también ha respaldado la propuesta.
Pero no todo el mundo lo ve igual. Jensen Huang, CEO de Nvidia, ha puesto en entredicho algunas de las predicciones más locas y alarmistas sobre el futuro de la IA y ha dicho que las estimaciones sobre una posible extinción de la humanidad no están respaldadas por la ciencia.
¿Por qué algunos CEO de empresas de IA quieren ralentizar el desarrollo?
Su argumento es que, si los modelos avanzan cada vez más rápido, las medidas para comprobar que se comportan de forma segura tienen que avanzar igual de rápido.
Altman comenta que las empresas deberían usar evaluadores y compartir métodos para comprobar problemas como la pérdida de control de los modelos, los comportamientos inesperados o los intentos de saltarse las restricciones.
Esto consume tiempo y recursos. Y precisamente por eso Altman habla de pacing, que se podría traducir como avanzar a un ritmo más controlado. No significa congelar el progreso y el desarrollo. Significa aceptar que, en algunos momentos, avanzar un poco más despacio puede ser necesario para comprobar que todo está yendo como debe.
"Cuando hablamos de 'ritmo', no nos referimos a 'detener'. El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser; intervenciones como los estudios de seguridad y el monitoreo tienen costos significativos", comenta.
El CEO de Anthropic ha defendido que los laboratorios de IA deberían contar con personas externas que puedan trabajar dentro de las compañías y publicar sus conclusiones.
La otra cara de la moneda: Jensen Huang cree que algunas predicciones se están inventando
Por otro lado, Huang afirma que la seguridad de la IA es algo vital y que está bien investigar problemas reales dentro de los modelos. Lo que pone en duda es que alguien pueda poner una cifra concreta a la posibilidad de que la inteligencia artificial acabe con toda la humanidad y lanzarlo como si fuera un dato científico.
Su argumento es que no tenemos una forma científica de calcular de forma exacta ese tipo de escenarios futuros. No existe una prueba que permita decir que hay, por ejemplo, un 10% de posibilidades de que la IA provoque la extinción humana durante los próximos diez años.
Y en esto Huang coincide, en parte, con otros expertos que también han pedido prudencia con este tipo de cifras. El problema no es discutir los riesgos, sino distinguir entre lo que se sabe que puede pasar y lo que muchos imaginan o quieren hacer creer que podría pasar.
Eso no significa que Huang considere que la IA sea 100% segura. Su postura es más bien la contraria y, si bien afirma que hay riesgos y hay que tomarlos en serio, también se debe seguir avanzando en esta tecnología.
Kevin Bass pone en duda quién está detrás de las organizaciones que piden más control
Y, en medio de todo esto, aparece Kevin Bass, un escritor e investigador que ha investigado las relaciones económicas alrededor de Anthropic. Afirma que algunas de las organizaciones que están pidiendo más controles para la IA podrían no ser tan independientes como parece.
Bass habla en un tuit de METR (Model Evaluation and Threat Research), una organización que hace pruebas de seguridad a modelos de IA. Dario Amodei ha defendido precisamente que hacen falta este tipo de evaluadores y METR es una de las organizaciones que ya trabaja con empresas como Anthropic.
Este afirma que existe una red de organizaciones y fundaciones conectadas económicamente con Anthropic. En su análisis habla de Dustin Moskovitz, uno de los primeros inversores de Anthropic, y de empresas como Good Ventures y Coefficient Giving, que financian proyectos relacionados con la seguridad de la IA.
Según su teoría, esto podría crear un círculo vicioso: Anthropic crece, hay más dinero para financiar organizaciones que estudian los riesgos de la IA y esas organizaciones tienen más recursos para hablar de esos riesgos y pedir más regulación.
Con todo esto, si una empresa grande de IA consigue que los gobiernos impongan controles, auditorías y requisitos muy exigentes para desarrollar modelos avanzados, a las empresas pequeñas les resulta mucho más difícil competir. Anthropic y OpenAI, que ya tienen muchísimo dinero, infraestructura y personal, pueden asumir esos costes mucho mejor que una startup pequeña.
Además, si una empresa como la de Amodei se presenta como una de las que más se preocupa por la seguridad y propone que existan organismos externos para evaluar a las compañías de IA, también puede acabar teniendo más influencia sobre cómo se diseñan esas reglas y quién realiza esas evaluaciones.
