Mustafa Suleyman, responsable de la IA de Microsoft: "La inteligencia artificial sin control podría dar lugar a una "especie de silicio" que rivalice con los seres humanos"

Elígenos como tu fuente preferida en Google.
El riesgo, según Suleyman, está en crear sistemas de IA capaces de fijar sus propias metas y competir por recursos. El experto reclama límites y supervisión humana para impedirlo.
Una inteligencia artificial que responde a una pregunta no plantea el mismo problema que un sistema capaz de actuar por su cuenta, mover recursos o ejecutar decisiones durante largos periodos.
Por ello, cuanto mayor es ese margen de autonomía, más importante resulta decidir quién conserva el control sobre una IA avanzada y quién puede detenerla.
Mustafa Suleyman, director ejecutivo de Microsoft AI, llevó esa preocupación al programa Today de BBC Radio 4, donde advierte de un escenario futuro en el que una “especie de silicio” podría competir con las personas.
Una IA sin control desencadenaría una "especie de silicio"

El directivo afirma que crear sistemas con autonomía económica y operativa suficiente para fijarse objetivos, generar ingresos, controlar activos o competir por recursos sin necesitar autorización humana en cada paso.
Una IA no tendría que sentir ni poseer una experiencia subjetiva para generar problemas. Bastaría con que pudiera perseguir metas durante más tiempo, tomar decisiones encadenadas y encontrar los medios necesarios para continuar haciéndolo.
También cuestionó la antropomorfización, es decir, atribuir características humanas a un programa, porque considera que presentarlo como una entidad con identidad propia puede orientar su desarrollo en una dirección equivocada.
Del mismo modo, criticó a Anthropic por cómo trata cuestiones como la identidad, el bienestar o la posible conciencia de Claude. Su temor es que ese lenguaje haga más difícil corregir, interrumpir o apagar un modelo si empieza a actuar como si tuviera intereses propios.
Sin duda, la IA podría competir con nosotros por los recursos, sin importar cuánto se preocupe por la humanidad y nos ame.
Microsoft AI también quiere fijar sus propios límites
Microsoft AI publicó un primer borrador de su código de conducta, abierto a consulta durante seis semanas. El documento plantea limitar el alcance de las tareas y obliga a aceptar interrupciones, correcciones y apagado cuando corresponda.
La compañía encuadra esta estrategia dentro de lo que denomina superinteligencia humanista, capacidades avanzadas diseñadas para permanecer bajo control de las personas.
Cabe señalar que no es una certificación de seguridad ni demuestra que esas restricciones vayan a cumplirse siempre, sino que son reglas que todavía necesitan ser evaluadas.
Suleyman propone precisamente realizar evaluaciones compartidas para comprobar si su preocupación sobre la antropomorfización se sostiene en la práctica.
Y no solo cuánto puede llegar a hacer una IA, sino cómo demostrar que, a medida que gana autonomía, sigue siendo corregible, supervisable y dependiente de decisiones humanas.
La advertencia puede sonar extrema si se interpreta como una máquina que desarrolla voluntad propia. Suleyman apunta a sistemas diseñados para actuar durante largos periodos, tomar decisiones y manejar recursos con objetivos cada vez más amplios.
Su propuesta no consiste en detener toda la inteligencia artificial, sino en limitar aquello que una IA puede decidir por sí misma y garantizar que siga existiendo una autoridad humana capaz de corregirla o apagarla.
