TechRadar'da yayımlanan bir görüş yazısında Core42 yöneticisi Emma Cloney, yapay zekâyı pilot projelerden üretime taşıyan şirketlerin, uygulamalar daha sık kullanıldıkça veya ajanlar bir işi tamamlamak için birden fazla modeli devreye soktukça artabilen maliyetlerle karşılaştığını savunuyor.
Cloney, şirketlerin en güçlü seçenekleri varsayılan olarak kullanmak yerine modelleri ve hızlandırıcıları her iş yüküne göre seçmesi gerektiğini söylüyor. Daha küçük modeller sınıflandırma, bilgi çıkarma ve yönlendirme gibi rutin işleri yapabilir; orta boy modeller günlük akıl yürütme görevlerini destekleyebilir. Daha büyük modeller ise karmaşık akıl yürütme, stratejik planlama ve doğrulukla inceliğin önemli olduğu görevler için kullanılabilir.
Donanım seçimi de yapılan işe bağlı. Düşük gecikme gerektiren uygulamalar hızlı yanıt veren sistemlere ihtiyaç duyarken yüksek hacimli iş yükleri aktarım kapasitesinden ve maliyet verimliliğinden daha çok yararlanabilir. Cloney, her işte aynı donanım türünü kullanmanın bazı uygulamaların yararlanmadığı bir performans için ödeme yapmak anlamına gelebileceğini savunuyor. Farklı hızlandırıcıların bir arada kullanılmasının şirketlere daha fazla esneklik sağlayabileceğini belirtiyor ve olası sağlayıcılar arasında NVIDIA, AMD, Qualcomm, Microsoft ve Cerebras'ı sayıyor.
Yazıda örnek olarak Cerebras'ın OpenAI'ın gpt-oss-120b modelini saniyede yaklaşık 3.000 token hızında çalıştırdığı belirtiliyor. Cloney, bu hızın yanıt süresinin kritik olduğu uygulamalarda değerli olduğunu söylüyor. Ayrıca, özellikle hassas bilgileri işleyen kamu kurumları ve şirketler için dağıtım konumuyla yerel denetimin önemini vurguluyor. Yazıda, Avrupa'da yerel gerekliliklere göre geliştirilip işletilen altyapıya talep olduğu da aktarılıyor.
Cloney'nin temel görüşü, şirketlerin her projeyi tek bir modele, donanım türüne veya dağıtım yöntemine bağlamak yerine hız, maliyet, denetim ve veri yerleşimi gibi iş yükü gereksinimlerine göre yapay zekâ altyapısı seçmesi gerektiği.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.