Dario Amodei, CEO de Anthropic: "Perder el control de sistemas de IA suficientemente potentes podría convertirse en una amenaza para la seguridad mundial"
Elígenos como tu fuente preferida en Google.
Una de las grandes figuras del mundo de la IA advierte en la documentación que ha presentado para preparar su salida a bolsa que el control de esta tecnología podría escaparse de nuestras manos.
Desde hace ya un tiempo, grandes personalidades del sector de la inteligencia artificial, como Sam Altman, CEO de OpenAI, o Dario Amodei, CEO de Anthropic, están advirtiendo de los peligros de esta tecnología.
Precisamente Anthropic, que está a punto de salir a bolsa, ha querido dejar al mundo entero un tanto preocupado. En concreto, ha preparado un documento en el que avisa de que la inteligencia artificial que está creando podría llegar a suponer un riesgo catastrófico para la humanidad.
El miedo es que la inteligencia artificial avance más rápido de lo que la humanidad es capaz de entenderla, vigilarla y ponerle límites. Eso no significa que Claude, la IA de esta compañía, se haya escapado de control ni que una catástrofe sea inevitable, pero sí que Anthropic deja sobre la mesa que estos riesgos hay que tomarlos en serio.
Lo más curioso es que lance todo esto justo antes de salir a bolsa. De las 261 páginas del documento, unas 80 están dedicadas a los riesgos, mientras que alrededor de 48 explican el propio negocio. Sin embargo, todo tiene más sentido de lo que parece.
Este tipo de documentación sirve para explicar a los posibles inversores qué problemas podrían afectar a la compañía. Y en el caso de Anthropic, eso incluye tanto los riesgos económicos y la competencia como los posibles fallos de seguridad de sus modelos.
No es que la compañía esté diciendo que lo peor realmente vaya a ocurrir. Está reconociendo que son posibilidades. La duda realmente es por qué hacerlo.
Básicamente, porque se trata de una exigencia. Anthropic tiene que explicar a los posibles inversores qué puede salir mal en su negocio. Si hablamos de dinero, es mejor adelantarse a un potencial hecho de cara a los inversores que lamentarse después con falsas promesas.
En pocas palabras, cuando una compañía sale a bolsa, tiene que dejar por escrito los riesgos que cree importantes para su negocio. Si en el futuro ocurre un problema relacionado con uno de esos riesgos que ya había informado a sus inversores, realmente no se ha ocultado absolutamente nada.
¿Por qué Anthropic dice que la IA puede ser peligrosa y sigue desarrollándola?
La realidad es que, si se mira fríamente, una cosa no implica siempre la otra.
El mensaje de la compañía es claro en este sentido: la IA puede ser muy útil y, al mismo tiempo, tener riesgos muy serios si se hace cada vez más potente sin unos buenos controles.
El problema es que hay una carrera. Anthropic quiere mejorar Claude, OpenAI quiere mejorar ChatGPT, Google hace lo mismo con Gemini y otras compañías están en la misma situación. Si una se queda parada por miedo a los riesgos mientras las demás siguen avanzando, puede perder en cuestión de meses.
Todas estas compañías necesitan seguir demostrando que sus modelos mejoran para justificar esas cifras millonarias ante inversores. Ahora mismo, simplemente, están cambiando la forma de comunicarse con el mundo, dejando claro de qué bando están (pese a todo). Por así decirlo, es una forma de protegerse ante posibles problemas en el futuro.
¿Se debería frenar el desarrollo de la IA?
Podría parecer lo más sensato, pero esto es más complejo de lo que parece. El problema es que no todas las empresas ni todos los países están dispuestos a frenar al mismo ritmo.
La inteligencia artificial se ha convertido en una carrera por desarrollar modelos cada vez más potentes, y ninguna compañía quiere quedarse atrás frente al resto.
Por eso, parar por completo el desarrollo de la IA es casi utópico. Además, si se diese el caso, también habría que decidir qué se frena exactamente, durante cuánto tiempo y quién se encarga de comprobar que todo el mundo cumple las reglas.
Por ejemplo, el propio CEO de Anthropic ha defendido que los laboratorios de IA deberían contar con personas externas que puedan trabajar dentro de las compañías y publicar sus conclusiones.
Por supuesto, esto tampoco significa avanzar sin ningún tipo de límite. Hay otras opciones, como las que se están barajando ahora mismo, como obligar a las empresas a someter sus modelos a pruebas de seguridad, impedir que se utilicen para actividades peligrosas o exigir más control antes de lanzarlos al mundo.
Sam Altman, CEO de OpenAI, habla de pacing, que se podría traducir como avanzar a un ritmo más controlado. No significa congelar el progreso y el desarrollo. Significa aceptar que, en algunos momentos, avanzar un poco más despacio puede ser necesario para comprobar que todo está yendo como debe.
"Cuando hablamos de 'ritmo', no nos referimos a 'detener'. El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser; intervenciones como los estudios de seguridad y el monitoreo tienen costos significativos", ha explicado.
