ChatGPT ofrece respuestas de programación incorrectas el 52% de las veces, según un estudio
Parece que ChatGPT no está muy especializado en lo que respecta a resolver ciertas cuestiones relacionadas con el mundo de la programación.
Inteligencias artificiales conversacionales como Copilot, Gemini o ChatGPT ya forman parte de nuestro día, y solemos acudir a ellos para cualquier cuestión relacionada con dudas que tengamos.
Igualmente muchas personas están utilizando estas IA para cuestiones profesionales, y parece que en el nicho de la programación tiene una gran popularidad.
Anteriormente ChatGPT había demostrado poder responder a una serie de cuestiones relacionadas con la programación, o incluso la última versión es capaz de crear un videojuego clásico mostrándole solo una imagen del mismo.
Sea como fuere, un último informe ha señalado que ChatGPT ofrece muchas respuestas incorrectas a preguntas de programación.
El informe presentado a principios de mayo durante la Conferencia de Integración Computadora-Humano, señala que un equipo de investigación de la Universidad de Purdue revisó 517 preguntas del sitio Stack Overflow, que se enviaron al ChatGPT para que las respondiera.
Es sorprendente, pero el equipo informó que ChatGPT ofreció respuestas incorrectas a esas preguntas de programación en un 52%.
Si bien este tipo de inteligencias artificiales conversacionales ya avisan de que el usuario debe confirmar siempre la información proporcionada, lo cierto es que es curioso que el chatbot haya ofrecido respuestas incorrectas en un porcentaje tan alto en lo que respecta a cuestiones de programación.
A pesar de ello, muchos programadores confían en ChatGPT
Curiosamente se señala en este informe, que a pesar de aquellas respuestas incorrectas, los programadores prefieren las respuestas de ChatGPT al 35% “debido a la amplitud y estilo de lenguaje bien articulado”.
Lo peor de todo, es que los programadores no captaron las respuestas que ChatGPT dio incorrectas al 39% de las veces.
Si bien esto es simplemente un estudio, y en un nicho muy concreto, lo cierto es que es una prueba de que la inteligencia artificial todavía está muy lejos de responder de forma infalible a nuestras cuestiones.