Expertos descubren que las IA no saben leer relojes y malinterpretan las esferas en un 75 % de los casos
Según los investigadores, la inteligencia artificial malinterpretan los relojes analógicos y calendarios con un 75% de errores en Gemini 2.0 de Google o GPT-4o de OpenAI.
Las inteligencias artificiales pueden procesar enormes cantidades de datos en segundos, generar textos con sorprendente fluidez y hasta crear imágenes realistas. Sin embargo, un nuevo estudio ha revelado una sorprendente limitación, que la mayoría de estos sistemas tienen serias dificultades para leer relojes analógicos.
Según los investigadores, los modelos analizados malinterpretan la hora en un 75% de los casos, lo que pone en evidencia sus problemas para manejar tareas visuales básicas.
El estudio publicado en arXiv fue llevado a cabo por la Universidad de Edimburgo, donde los expertos probaron la capacidad de varias IA multimodales para interpretar relojes y calendarios. Entre los modelos analizados se encontraban Gemini 2.0 de Google, GPT-4o de OpenAI y Claude 3.5 de Anthropic, entre otros.
Los resultados dejaron claro que, aunque estos sistemas han avanzado en el razonamiento complejo, aún tropiezan con tareas tan comunes como leer la hora.
Las IA tienen dificultades para leer las esferas del reloj
Los investigadores usaron imágenes de relojes con diferentes diseños, con números romanos, esferas estilizadas, con y sin segundero, entre otros. En la mayoría de los casos, las IA no lograron identificar correctamente la hora.
Las cifras mostraron que incluso los mejores modelos acertaron menos del 25% de las veces, con errores más frecuentes en relojes con manecillas estilizadas o numeración no convencional.
Una de las hipótesis del equipo de Edimburgo es que las IA tienen problemas para reconocer con precisión la posición de las manecillas en relación con la esfera. A diferencia de los humanos, que aprenden a leer relojes desde una edad temprana, estos sistemas dependen de patrones y datos previos, lo que parece no ser suficiente para esta tarea específica.
El experimento no se limitó a los relojes. También se evaluó la capacidad de los modelos de IA para interpretar calendarios. Se les formularon preguntas como "¿qué día de la semana es Año Nuevo?", o "¿cuál es el día 153 del año?". Aunque aquí los resultados fueron algo mejores, los errores siguieron siendo notables, incluso los modelos más precisos fallaron en un 20% de los casos.
Uno de los sistemas más precisos en este ámbito fue GPT-01 de OpenAI, que acertó en un 80 % de las respuestas relacionadas con fechas y calendarios. No obstante, la falta de fiabilidad en cuestiones básicas demuestra que aún queda trabajo por hacer para mejorar la comprensión visual de estos modelos.
¿Por qué importa esta limitación?
Puede parecer un fallo menor, pero la incapacidad de la IA para interpretar relojes y calendarios tiene implicaciones significativas. En entornos donde la automatización requiere una interpretación precisa de datos visuales, como la programación de tareas o la asistencia a personas con discapacidad visual, este tipo de errores pueden generar problemas serios.
Según Rohit Saxena, líder del estudio: "Nuestros hallazgos ponen de manifiesto una importante deficiencia en la capacidad de la IA para realizar habilidades básicas para las personas. Estas deficiencias deben abordarse para que los sistemas de IA se integren con éxito en aplicaciones prácticas y urgentes, como la programación, la automatización y las tecnologías de asistencia".
Su colega Aryo Gema añade: "Hoy en día, la investigación en IA suele centrarse en tareas de razonamiento complejas, pero, irónicamente, muchos sistemas aún tienen dificultades para realizar tareas cotidianas más sencillas".
Este estudio, cuyos resultados serán presentados en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) en abril, abre la puerta a nuevas investigaciones. Resolver este tipo de deficiencias será clave para desarrollar sistemas de IA más confiables y versátiles.
Además, este hallazgo se suma a otras investigaciones recientes que han demostrado las limitaciones de los modelos actuales. Por ejemplo, un análisis del Centro Tow reveló que los motores de búsqueda impulsados por IA generan información incorrecta en el 60% de los casos.
Estos fallos resaltan la importancia de seguir mejorando la precisión y comprensión de la inteligencia artificial antes de depender completamente de ella en tareas críticas.