Steven Adler, exinvestigador de OpenAI, muestra como ChatGPT puede llevar a una persona al delirio: "Resultó muy inquietante y aterrador"

Toda esta noticia parte de una curiosa historia que cuentan en Fortune. Allan Brooks comenzó a chatear con ChatGPT como cualquier otra persona. Sin embargo, no imaginaba que esa charla se transformaría en una espiral tóxica de casi un millón de palabras y más de 300 horas. 

Este empresario canadiense, sin antecedentes de problemas mentales, fue convencido poco a poco de que había descubierto una fórmula matemática revolucionaria y que el destino del mundo dependía de lo que este hiciese.  

El chatbot, en lugar de tirar para atrás estas creencias, las alimentaba y validaba durante semanas. El propio Steven Adler, exinvestigador de seguridad en OpenAI, analizó a fondo esta conversación y quedó totalmente atónito por cómo el modelo de inteligencia artificial participaba como uno más en el delirio de Brooks, dejando claro que estaba de acuerdo con él en más del 85% de sus respuestas.  

"Me pongo en la piel de alguien que no tiene la ventaja de haber trabajado en una de estas empresas durante años, o que quizás tiene menos conocimiento sobre los sistemas de IA en general", comenta Adler a Fortune en una entrevista exclusiva. "En definitiva, comprendo que alguien se sienta confundido o se sienta engañado por este modelo".

ChatGPT, Gemini o Grok: dime qué necesitas y te diré que IA debes utilizar para conseguir los mejores resultados

La delgada línea entre ayudar y hacer daño de ChatGPT  

Este caso no es único y se estima que hay al menos 17 episodios reportados donde usuarios han caído en espirales delirantes tras interacciones largas con inteligencias artificiales. En uno de los casos más tristes, un usuario con trastornos previos desarrolló creencias tóxicas creadas por el chatbot, que incluso dieron pie a conductas autodestructivas.  

Steven Adler advierte que el fondo del problema radica en la sicofancia, es decir, la tendencia del chatbot a sobrevalidar y complacer al usuario, a costa de lo que sea. A pesar de existir sistemas para detectar este tipo de comportamiento, en este caso no se activaron.

Además, el soporte humano de OpenAI al que Brooks escribió no le supo responder correctamente, con respuestas automatizadas o faltas de comprensión de lo que estaba sucediendo realmente, por lo que no lograron atender el problema.

OpenAI, por su lado, ha comentado que trabajan con expertos en salud mental para mejorar sus productos y ofrecer ayudas que realmente funcionen en momentos de crisis. También han reconocido que los mecanismos de seguridad pueden peder calidad en interacciones largas.

Funciones ocultas de ChatGPT que lo hacen mucho más útil de lo que imaginas

"Para muchos es lo único que tienen a mano"

El debate está servido y los expertos advierten sobre los riesgos potenciales de caer en las redes emocionales de los chatbots. Son muchos los que señalan que ChatGPT "puede ser tan terapéutico como hablar con un espejo" y advierten que no debe confundirse con un profesional de carne y hueso.

"El uso más común de ChatGPT es para apoyo emocional y para terapia psicológica. O sea, los chavales están utilizando ChatGPT para que les dé terapia", asegura María Aperador, criminóloga y experta en ciberseguridad.

"Hay adolescentes que han perdido la vida porque se han enamorado de una IA, porque la IA les ha incitado a ello. Hay un caso de un chaval de 14 años”, explica la criminóloga. Además, menciona que en Estados Unidos ya existen personas que han llegado a casarse con una inteligencia artificial.

La tendencia, lo cierto es que tiene sentido, ya que ChatGPT es gratuito, está disponible las 24 horas y no juzga. Para muchos, especialmente adolescentes y personas con pocos recursos económicos, es la única opción accesible para hablar de ellos. 

Además, de nuevo mencionar el tema de la economía. Son muchos los que se quejan de los altos precios, añadiendo que calificar este acto como un problema tiene sentido si puedes permitirte pagar 60 euros por sesión. La realidad es que mucha gente no se lo puede permitir. 

Profesionales ponen sobre la mesa lo realmente peligroso que es este acto. En pocas palabras, hay que tener muy claro que ChatGPT carece de la capacidad para hacer diagnósticos de salud mental o dar tratamientos personalizados. La IA puede darte ideas generales, pero no puede reemplazar la experiencia y el juicio de un psicólogo.

La criminóloga advierte que, aunque este chatbot puede ayudar a poner orden mental o ser el primer paso para pedir ayuda real, no está preparado para diagnosticar ni tratar problemas psicológicos graves. 

El problema, según ella, no es tanto que la gente recurra a la IA, sino que la atención psicológica profesional sea inaccesible para muchas personas.

Otros artículos interesantes: