DSX MaxLPS från NVIDIA ger 40 % högre tokenkapacitet per megawatt när ett Lambda-kluster når 5 miljoner token per sekund

Wccftech rapporterar att NVIDIA visade upp energieffektiviseringar för sina Vera Rubin-plattformar vid AI Infra Summit. Företaget uppger att tekniken DSX MaxLPS ger 40 % högre tokenkapacitet per megawatt.

Enligt rapporten har ett kluster från Lambda nått 5 miljoner token per sekund. Resultatet presenteras som en del av NVIDIAs bredare arbete med att möta den ökade energiefterfrågan från AI-arbetslaster.

NVIDIAs plattform för en komplett AI-fabrik omfattar Vera Rubin-system, inferensprogramvaran Dynamo, NeMo-bibliotek och nätverksteknik. Där ingår NVLink för skalning inom ett system, Spectrum-X för Ethernet och ConnectX SuperNICs för att ansluta stora mängder system.

De rapporterade effektivitetsvinsterna beskrivs som funktioner i Vera Rubin-plattformarna. Den tillgängliga informationen innehåller inga ytterligare testförhållanden eller någon oberoende verifiering av siffrorna.