Colossus: el superordenador de IA de Elon Musk con 100.000 GPUs Nvidia H100
Elon Musk ha anunciado que ya han completado la configuración del súper ordenador Colossus, en su afán de intentar superar a OpenAI en el campo de la IA.
xAI, la empresa enfocada a la inteligencia artificial creada por Elon Musk, acaba de dar un paso de gigante en este campo completando la configuración de su superordenador llamado Colossus.
Colossus es un súper ordenador de entrenamiento de inteligencia artificial, alimentado por 100.000 GPUs Nvidia H100.
Este súper ordenador tiene previsto duplicar su tamaño a 200.000 GPUs en los próximos meses según comenta Elon Musk. En total de esas 200.000 GPUs para el futuro, 50.000 serán las Nvidia H200.
Utilizarán este súper ordenador para entrenar a la nueva versión de Grok, la apuesta en inteligencia artificial de Elon Musk y que puedes disfrutar en las cuentas premium de X, la antigua Twitter.
La red social X espera lanzar la tercera versión de Grok para diciembre, para intentar ponerse a la misma altura que su principal competidor GPT-4 de OpenAI.
Este superordenador Colossus habría superado a otro sistema de inteligencia artificial como Aurora del Departamento de Energía de Estados Unidos al alcanzar una velocidad máxima de 10.6 exaflops con el 87% de su hardware activo en una prueba realizada en mayo.
Elon Musk aclara que su súper ordenador Colossus está equipado con 100.000 tarjetas gráficas Nvidia H100 amparadas en su módulo Transformer Engine, que se usa para modelos basados en la arquitectura Transformer.
Cabe aclarar que estas tarjetas gráficas H100 cuentan con la capacidad de ejecutar modelos de lenguaje hasta 30 veces más rápido que las GPU de generaciones anteriores.
Por otra parte, su sucesor H200 promete ser más rápido debido a mejoras arquitectónicas como el uso de memoria HBM3e y una capacidad de memoria aumentada a 141 gigabytes.