Hyperspace tiene la solución a la lentitud de la IA
La inteligencia artificial consume gran cantidad de recursos de hardware, y eso la hace lenta y propensa a la latencia. Hyperspace ha ideado un método para acelerar la IA.
Si has usado alguna vez una IA generativa que funciona en la nube, tipo ChatGPT, seguro que has notado que a veces tarda unos segundos en responder. Hyperspace presenta una tecnología que multiplica por cinco el rendimiento de la IA, en todo lo que se refiere a las búsquedas en su base de datos de entrenamiento.
La inteligencia artificial generativa requiere una gran cantidad de recursos de hardware para funcionar. El 90% de los ordenadores y móviles que hay en el mundo no tienen esa capacidad de proceso, por eso la IA más potente funciona en la nube.
Pero este funcionamiento en servidores remotos añade latencia, que se multiplica como más usuarios estén usando esa IA generativa al mismo tiempo. ¿Cómo se puede mejorar esta limitación?
Acelerando las búsquedas internas de la IA
La nueva compañía Hyperspace, con sede en Israel, ha sido fundada por Ohad Levi, ingeniero experto en optimización de Intel, junto a otros compañeros de dicha empresa.
Levi explica en TechCruch que las tareas que más recursos consumen en el uso de una IA, son las búsquedas. La IA generativa lleva a cabo constantes búsquedas en su base de datos de entrenamiento de su modelo, ya que ahí está la base de su conocimiento.
Una IA es tan buena como los datos con los que entrena, y por eso las compañías que crean IA están haciendo de todo, incluso violar el copyright impunemente, con tal de encontrar datos para entrenar a sus IA.
El caso es que la IA pasa bastante tiempo buscando en su base de datos. Y aquí es donde entra Hyperspace. Usando una combinación de FPGA y GPU, que funcionan en servidores de la nube de Amazon, Hyperspace ha creado un software que, asegura, multiplica por diez el rendimiento en las búsquedas de la IA.
En concreto, Hyperspace utiliza la computación de "dominio específico" para acelerar dos tareas clave en las bases de datos de la IA: las búsquedas léxicas y las búsquedas vectoriales.
Las búsquedas léxicas utilizan palabras clave que se buscan de forma exacta en una base de datos. Vamos, que si la IA necesita "perros", eso es justamente lo que espera. Al contrario, las búsquedas vectoriales tienen en cuenta el significado semántico y el contexto de la consulta de búsqueda.
Hyperspace adapta su software a las necesidades de la IA de cada empresa, y es capaz de trabajar con IA generativa basada en texto, audio o vídeo. Digamos que ofrece "aceleración de la IA como servicio", pero eso implica que sus clientes tienen que sacar su IA de su nube, y llevarla a la de Hyperspace.
Sus fundadores están convencidos de que muchas empresas con IA integrada aceptarán el cambio, si obtienen cinco veces más rendimiento de su IA, a la mitad de coste. Hyperspace ya ha firmado acuerdos con empresas de prevención de fraude y comercio electrónico como Forter, nSure y Renovai.
La inteligencia artificial generativa es una industria que con un alto consumo de recursos energéticos y de hardware, y eso va a hacer aflorar a su alrededor docenas de empresas satélites que harán negocio intentando reducir la latencia y aumentar el rendimiento, como es el caso de Hyperspace.