Groq uppges byta från SRAM till 3D-staplat DRAM i nästa generations LPU:er

Groq, som har förvärvats av NVIDIA, uppges planera att använda 3D-staplat DRAM i nästa generations språkprocessorenheter (LPU:er) i stället för SRAM, som används i den nuvarande generationen. Enligt uppgifterna prioriterar förändringen minneskapacitet framför hastighet i takt med att modellerna växer.

Groqs språkprocessorenheter av nuvarande generation (LPUs) har 500 MB SRAM och en bandbredd på 150 TB/s. Tidigare i år presenterade NVIDIA Groq LPX-rack som en del av Vera Rubin-ekosystemet, med målet att öka inferensprestandan. Racken gick in i full produktion i augusti.

De första resultaten som rapporten hänvisar till visar 3 400 token per sekund när Groq LPX-rack kombineras med NVL72-servrar. Rapporten beskriver övergången till 3D-staplat DRAM som en plan för nästa generations chip. Den anger inget lanseringsdatum eller fler specifikationer för minnet.