¿Nos engañan con los chips de IA?: Consiguen usar Llama de Meta en un Pentium II de hace 26 años
Dicen que la inteligencia artificial generativa requiere usar chips de IA, pero han conseguido que funcione en local en un Pentium II con 128 MB de RAM. ¿Cómo es posible?
En la actualidad solo hay dos formas de usar la inteligencia artificial generativa: o bien ejecutarla en los servidores remotos de las compañías de IA, como ocurre con ChatGPT, Llama y similares, o en móviles y ordenadores equipados con chips de IA. ¿De verdad son obligatorios, o es solo un intento de controlar el mercado?
El grupo EXO es una asociación semianónima formada por investigadores y expertos de la Universidad de Oxford, que quieren evitar un futuro en donde las grandes corporaciones y un puñado de compañías tecnológicas sean las dueñas de la inteligencia artificial, mientras los usuarios somos esclavos de sus suscripciones, o del hardware que ellos nos quieren vender.
Su objetivo es demostrar que la IA puede funcionar en cualquier hardware, no solo en uno equipado con chips de IA. Y ya han conseguido un gran logro: Llama, la IA de Meta, funcionando en local en un Pentium II con 128 MB de RAM, que se lanzó al mercado hace 26 años.
Así funciona la IA Llama en un Pentium II
Lo primero que hicieron fue comprar un ordenador Elonex equipado con un Pentium II a 350 Hz, 128 MB de RAM, un disco duro de 1,6 GB, y Windows 98, que encontraron en eBay por unos 143 euros.
Para transmitir el software para hacer funcionar la IA no pudieron usar sus pendrive y discos USB, porque tenían más de 4 GB, que no acepta FAT32. Así que recurrieron al viejo Filezilla para transmitir los ficheros a través de FTP.
Si querían hacer funcionar Llama, la IA de Meta, que es de código abierto, en modo local, tenían que compilarla en lenguaje C compatible con Windows 98 y el Pentium II.
Primero tuvieron que adaptar el código en C++ a código C compatible con el hardware de hace un cuarto de siglo.
No fue complicado, ya que C es un lenguaje muy compatible con ordenadores antiguos. Solo tuvieron que declarar las variables al principio de las funciones.
Para compilar el código utilizaron el viejo Borland C++ 5.02. Usaron una versión de Llama minimalista creada por Andrej Karpathy, uno de los fundadores de OpenAI, que fue director de IA de Tesla. Y aquí tienes el resultado: la IA Llama funcionando en local en un Pentium II con 128 MB de RAM:
Se trata de una versión de Llama con 260.000 parámetros, que funciona a una sorprendente velocidad de 39 tokens/sg. Suficiente para ser funcional, como se ve en el vídeo.
Sin embargo, la versión con 15 millones de paramétros ya cae a 1 token/sg, y con 1.000 millones de parámeros, a 0,0093 tokens/sg. Ambas son inservibles.
El objetivo de EXO Labs con este experimiento, es demostrar que si la IA generativa puede funcionar en un Pentium II de hace 26 años, con más razón lo hará en cualquier móvil o PC moderno, que son miles de veces más potentes. Puedes ver el desarrollo completo en su blog, y descargar el código para probarlo tú mismo en GitHub.
EXO también está trabajando en BitNet, un software que hace que cualquier IA funcione en cualquier hardware, no solo en aquel que tenga chips de IA. Un intento noble de impedir que las grandes corporaciones de la IA, controlen el mundo.