Groq planea pasar de SRAM a DRAM apilada en 3D en sus próximas LPU, según un informe

Groq, adquirida por NVIDIA, planea usar DRAM apilada en 3D en sus unidades de procesamiento de lenguaje (LPU) de próxima generación, en sustitución de la SRAM de la generación actual, según un informe. El cambio daría prioridad a la capacidad de memoria frente a la velocidad a medida que crecen los modelos.

Las unidades de procesamiento de lenguaje actuales de Groq (LPUs) incorporan 500 MB de SRAM y ofrecen un ancho de banda de 150 TB/s. A principios de este año, NVIDIA anunció los racks Groq LPX como parte del ecosistema Vera Rubin, con el objetivo de mejorar el rendimiento de inferencia. Los racks entraron en producción completa en agosto.

Los primeros resultados citados en el informe muestran un rendimiento de 3.400 tokens por segundo cuando los racks Groq LPX se combinan con servidores NVL72. El informe presenta el paso a la DRAM apilada en 3D como un plan para los chips de próxima generación; no indica una fecha de lanzamiento ni más especificaciones de esa memoria.