La IA de Discord expulsa de por vida a 8.000 usuarios por publicar tableros de ajedrez e inventarios de Minecraft: "No le gustan los cuadrados"
Un bug en la IA de Discord ha expulsado de por vida a miles de usuarios, y muchos lo necesitan para trabajar. Es lo que tiene no poner a un humano al volante.
La inteligencia artificial que Discord usa para moderar sus chats, se ha puesto a alucinar, y ha expulsado de por vida a 8.000 usuarios por hacer cosas tan “peligrosas” como subir una foto de un tablero de ajedrez, texturas de videojuegos, o el inventario de Minecraft.
Lo grave es que lleva pasando meses, y Discord no encontraba el fallo, mientras las bajas iban cayendo día tras día. El último fin de semana, otros 200 expulsados.
Todas estas cuentas cerradas tienen en común que las imágenes que subían contenían cuadrados o rejillas. Muchos usuarios han especulado que estos diseños de cuadrados con píxeles se parecen a la pixelización que se usa en las caras en las imágenes pornográficas, y la IA lo ha confundido con eso.
Discord explica el caos de su IA moderadora
En el anterior tuit, Discord intenta excusar lo inexcusable. Asegura que su moderación automática compara el contenido que sube la gente con una base de datos de material prohibido, pero a veces se producen falsos positivos.
También dice que un moderador humano revisa el contenido, pero un bug provocó que la inteligencia artificial cancelase automáticamente las cuentas. Bug sobre bug. Resulta bastante extraño, teniendo en cuenta que estas expulsiones llevan produciéndose desde mayo. ¿Nadie se dió cuenta en todo este tiempo de que la IA no informaba al moderador humano? ¿Por qué darle a la IA el poder de cancelar, si hay un moderador humano? Se sostiene con alfileres...
“Estamos trabajando para mejorar las medidas de seguridad y evitar que esto vuelva a suceder”, asegura la empresa.
No es una cosa para tomarse a la ligera, porque muchos profesionales usan Discord como medio de comunicación para trabajar, y al ser expulsados, no han podido hacerlo:
“Mi cuenta fue bloqueada injustamente en vuestra plataforma debido a un error en vuestro sistema de moderación automática basado en IA, que identificó las texturas de mi juego como material de abuso sexual. Necesito recuperar mi cuenta, ya que soy director de videojuegos y utilizo Discord para todas mis comunicaciones”, pide un usuario en X.
Discord asegura que todas las cuentas cerradas han sido devueltas a sus dueños. Pero perder uno o varios días de trabajo, no tiene ninguna gracia.
Todo el mundo parece olvidarse de que la IA es solo un producto de primera generación, lleno de fallos. Lo asombroso es que se le asignen tareas y poderes críticos muy por encima de su fiabilidad, y parece que nadie se molesta en controlarla de cerca.