OpenAI, Broadcom ile birlikte geliştirdiği çıkarım hızlandırıcısı Jalapeño için ilk performans verilerini yayımladı. Şirket sonuçları 25 Ağustos’ta Hot Chips’te sundu ve Nvidia’nın Vera Rubin mimarisiyle doğrudan karşılaştırma yapmak yerine verimliliğe odaklandı.
OpenAI, üç açık modelde test ettiği Nvidia raf sistemlerine kıyasla kilovat başına 1,5 ila 1,9 kat daha yüksek çıktı ve uçtan uca gecikmede 1,7 ila 3,6 kat düşüş bildirdi. Jalapeño 700W olarak derecelendiriliyor; Nvidia sistemleri için bu değerler 1200W ve 1400W.
OpenAI, SemiAnalysis’in herkese açık InferenceX test paketini GPT-OSS 120B, DeepSeek R1 670B ve Moonshot AI’ın trilyon parametreli Kimi K2.5 modeliyle kullandı. Şirket, GPT-OSS’ta GB200’e karşı 1,9 kat ve diğer iki modelde GB300’e karşı 1,7 kat ile 1,5 kat verimlilik avantajı bildirdi. Jalapeño ile GB300 üzerinde GPT-OSS 120B karşılaştırması yayımlanmadı.
Veriler, spekülatif kod çözme ve prefill-decode disaggregation kullanılmadan tek belirteç tahminine dayanıyor. Çok belirteçli yapılandırmada Jalapeño’nun GB300 karşısındaki en yüksek verimlilik avantajı yaklaşık 1,5 kata düşüyor. Testlerde A0 silikon kullanıldı. Yaklaşık yüzde 25 daha iyi watt başına performans sunan B0 stepping ise üretimde ve seri üretimin 2027 boyunca kademeli olarak artması planlanıyor.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.