Bir geliştirici, özel bir çıkarım motoru kullandıktan sonra NVIDIA’nın RTX 3090 üzerinde çalışan Qwen3.8-27B modelinin metin üretim hızında keskin bir artış bildirdi. Wccftech’in haberine göre, ilk kurulumda saniyede 82 token üreten GPU, bu motorla saniyede 382 token üretti; bu yaklaşık 4,6 katlık bir artış.
RTX 3090, 24GB VRAM’e ve 936,2GB/s bellek bant genişliğine sahip. Habere göre bu özellikler istem işleme ve token üretimini destekleyebiliyor, ancak kartın bellek kapasitesi daha büyük dil modellerini çalıştırırken sınırlama oluşturuyor.
Hız artışı bir donanım değişikliğinden değil, çıkarım optimizasyonlarından kaynaklandı. Kaynak sonucu beş kata yakın bir hızlanma olarak tanımlarken süreçte bazı aksaklıklar yaşandığını da belirtiyor. Ayrıca Qwen3.8-27B daha önce ürettiği metni tekrarlarken token üretiminin çok daha hızlı olabileceği uyarısını yapıyor.
Bu değerler geliştiricinin kurulumuna özgü; her RTX 3090 sisteminde elde edilecek genel bir kıyaslama sonucu olarak değerlendirilmemeli. Sağlanan kaynak metin, testler veya özel motor hakkında daha fazla ayrıntı vermiyor.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.