Google tiene un nuevo método para que la IA consuma mucha menos memoria

La carrera por desarrollar inteligencia artificial más potente y eficiente acaba de dar un giro trascendental. Google, uno de los actores más influyentes en este campo, ha presentado una innovación que promete redefinir los requisitos hardware de los sistemas de IA. Se trata de un nuevo método que permite a los modelos de lenguaje grandes (LLM) funcionar consumiendo una fracción de la memoria que necesitan actualmente. Una noticia que, en teoría, debería celebrarse como un avance monumental para la computación sostenible y accesible, pero que está enviando ondas de choque a través de la industria de los semiconductores, especialmente a fabricantes de memoria como Micron y SK Hynix.

##El dilema de la memoria en la era de la IA

Para entender por qué este desarrollo es tan disruptivo, primero debemos comprender el problema que resuelve. Los modelos de IA modernos, especialmente los LLM como GPT-4, Gemini o Llama, son monstruosamente hambrientos de memoria. Cuando ejecutas un modelo con cientos de miles de millones de parámetros, necesitas almacenar no solo el modelo en sí, sino también los datos intermedios que se generan durante el proceso de inferencia (cuando el modelo responde a tu pregunta) o entrenamiento. Hablamos de decenas o incluso cientos de gigabytes de RAM de alta velocidad.

Este requisito ha creado una bonanza sin precedentes para los fabricantes de memoria. La demanda de módulos HBM (High Bandwidth Memory) y GDDR6 especializados para aceleradores de IA ha superado con creces la oferta, llevando los precios a niveles estratosféricos y garantizando ingresos récord para empresas como SK Hynix, Micron y Samsung. La narrativa del mercado era clara: la explosión de la IA sería el motor de crecimiento de la industria de la memoria durante la próxima década. Hasta ahora.

###La esencia de la innovación de Google: «Quantization» y «Sparsity» llevados al extremo

El método de Google, cuyos detalles técnicos se han filtrado a través de publicaciones de investigación y comunicaciones internas, no es un único truco mágico, sino una combinación inteligente de técnicas existentes optimizadas y aplicadas de manera novedosa. Se centra en dos conceptos clave: la **cuantización** y la **esparsidad**.

La **cuantización** es el proceso de reducir la precisión numérica de los cálculos en un modelo de IA. En lugar de usar números de coma flotante de 16 o 32 bits (que ofrecen alta precisión pero consumen mucha memoria), el método de Google permite usar representaciones de 4 bits o incluso inferiores para la mayoría de las operaciones, manteniendo una precisión aceptable para las tareas finales. Imagina que en lugar de medir la temperatura con un termómetro que marca décimas de grado, usas uno que marca solo grados enteros. Para saber si hace frío o calor, es más que suficiente, y el instrumento es más simple y barato.

La **esparsidad** aprovecha un hecho intrínseco de las redes neuronales: no todas las conexiones (o «neuronas») son igual de importantes en cada cálculo. Muchos de los valores en las matrices de cálculo son cero o cercanos a cero. El nuevo enfoque identifica y «pod» estas conexiones insignificantes de manera dinámica y eficiente, evitando almacenarlas o computarlas. Es como leer un libro saltándote las palabras «el», «la», «un» de forma sistemática: tu cerebro aún comprende la frase, pero ahorras tiempo y esfuerzo.

La genialidad de Google está en cómo ha logrado aplicar estas técnicas de forma agresiva sin que el rendimiento o la utilidad del modelo se desplomen. Han desarrollado algoritmos de compensación y métodos de entrenamiento que permiten al modelo adaptarse a esta «dieta» extrema de memoria.