Wccftech rapporterar att en person körde en stor språkmodell på 120B med en Android-telefon, tre Mac-datorer och två Windows-datorer. Källan identifierar modellen som gpt-oss-120b.
Uppsättningen kombinerade flera enklare enheter i stället för att förlita sig på en enda maskin med stora mängder minne. Enligt Wccftech behöver en modell på 120B minst 60 GB till 80 GB sammanlagt videominne (VRAM) och systemminne för att prestera bra, vilket vanligtvis kräver dyr hårdvara.
Experimentet hade en tydlig nackdel: Wccftech beskriver hastigheten i den distribuerade uppsättningen som extremt låg och säger att den är opraktisk. Artikeln anger inga uppmätta prestandavärden och ger inga ytterligare tekniska detaljer om hur enheterna delade på arbetsbördan.
Kommentarer
0Inga kommentarer ännu. Skriv den första.