Bir geliştirici 120B yapay zekâ modelini telefon ve beş bilgisayarda çalıştırdı

Wccftech'in haberine göre bir kişi, Android telefon, üç Mac ve iki Windows PC kullanarak 120B boyutunda büyük bir dil modelini çalıştırdı. Kaynak, modeli gpt-oss-120b olarak tanımlıyor.

Kurulumda, yüksek miktarda belleğe sahip tek bir makine yerine birkaç düşük donanımlı cihaz bir araya getirildi. Wccftech, 120B boyutundaki bir modelin yeterli performans için en az 60 GB ile 80 GB arasında toplam video belleği (VRAM) ve sistem belleğine ihtiyaç duyduğunu, bunun da genellikle pahalı donanım gerektirdiğini belirtiyor.

Deneyin önemli bir bedeli vardı: Wccftech, dağıtık kurulumun son derece yavaş çalıştığını ve pratik olmadığını aktarıyor. Haberde ölçülmüş performans değerleri ya da cihazların iş yükünü nasıl paylaştığına ilişkin ek teknik ayrıntılar verilmiyor.