Groq'ın yeni nesil LPU'ları SRAM'den 3D yığınlı DRAM'e geçireceği bildiriliyor

NVIDIA'nın satın aldığı Groq'un, yeni nesil dil işleme birimlerinde (LPU) mevcut nesilde kullandığı SRAM yerine 3D yığınlı DRAM kullanmayı planladığı bildiriliyor. Modeller büyürken bildirilen bu değişiklik, hızdan çok bellek kapasitesine öncelik veriyor.

Groq'un mevcut nesil dil işleme birimleri (LPUs) 500 MB SRAM barındırıyor ve 150 TB/s bant genişliği sunuyor. NVIDIA, bu yılın başlarında çıkarım performansını artırmak üzere Vera Rubin ekosisteminin parçası olarak Groq LPX raflarını duyurdu. Raflar ağustos ayında tam üretime geçti.

Haberde aktarılan ilk sonuçlara göre Groq LPX rafları NVL72 sunucularla birlikte kullanıldığında saniyede 3.400 token performansına ulaşıyor. Haberde, yeni nesil yongalar için 3D yığınlı DRAM'e geçiş bir plan olarak aktarılıyor; bu bellek için çıkış tarihi veya başka teknik özellik verilmiyor.