Qwen3.8-27B'yi 12GB belleğe sahip bir Windows dizüstünde çalıştırmak normalde imkânsız görünüyor. Standart 4-bit kuantize sürüm, toplamda 15GB ile 17GB arasında kullanılabilir VRAM ve sistem RAM'i gerektiriyor.
Bir kullanıcı bu sınırlamayı, aynı ağa bağlı dört cihazın belleğini birleştirmek için açık kaynaklı yazılım kullanarak aştı. Sistem RAM'lerinin birleştirilmesi, Qwen3.8-27B'nin 12GB'lık dizüstünde başarıyla başlatılmasını sağladı.
Bu yaklaşımın önemli bir performans bedeli var. Birleştirilmiş kurulum yalnızca saniyede 2 toks hızına ulaştı ve modelle etkileşimi son derece yavaş hâle getirdi. Kaynağa göre 2-bit kuantize Qwen3.8-27B sürümü bu koşullarda daha mantıklı bir seçenek olurdu.
Deney, modelin bellek dört ağa bağlı sisteme dağıtıldığında çalıştırılabildiğini gösteriyor. Ancak bu, modelin bellek gereksinimini ortadan kaldırmıyor; gereksinim yalnızca açık kaynaklı yazılımla dört sisteme dağıtılıyor.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.