TechRadar yazarı Tobie Morgan Hitchcock’a göre yapay zekâ ajanları, çalışırken bilgi oluşturup saklayarak kurumsal maliyetleri artırabilir. Bir soruyu yanıtlamak için bağlamı getiren sohbet botlarından farklı olarak ajanlar, görev ilerledikçe kendi durumlarını güncelleyebilir, araçları çağırabilir ve sonuçları kaydedebilir.
Bu durum dağıtımın ekonomisini değiştiriyor. Geleneksel üretken yapay zekâ maliyetleri kullanıcı sayısıyla artma eğilimindeyken, çok ajanlı sistemlerin maliyeti görev karmaşıklığıyla yükselebilir. AWS, günde yaklaşık 100 etkileşim gerçekleştiren metin tabanlı bir kavram kanıtlama çalışmasının ayda yaklaşık 40 dolara mal olduğunu tahmin ediyor. Bilgi tabanı ve koruma kuralları kullanan, benzer hacimdeki ajan tabanlı bir çalışma ise ayda yaklaşık 840 dolara mal oluyor. Anthropic’in çok ajanlı araştırmasına ilişkin yazısı, bu sistemlerin sohbet etkileşimlerinden 15 kat daha fazla belirteç kullandığını söylüyor.
Ajanlar geçmiş eylemleri ve kanıtları daha sonra kendilerinin veya diğer ajanların kullanması için sakladıkça bellek de ek maliyet getiriyor. Büyüyen bir filo daha fazla depolama ve eşitleme gerektirebilir; nadiren erişilen kayıtları en hızlı depolama katmanında tutmak da masrafı artırabilir. Makaleye göre bellek tasarımı, eşzamanlı güncellemeleri, paylaşılan bağlamı ve etkin kayıtlarla geçmiş kayıtlar arasındaki farkı hesaba katmalı.
Eski kayıtlar için ekipler, tüm sürümleri saklamayı artımlı değişikliklerle karşılaştırabilir veya belirli aralıklarla alınan anlık görüntüleri daha küçük güncellemelerle birleştirebilir. Bu tercihler erişimi, depolama kullanımını ve ajan filolarını işletme maliyetini etkiler. Bu nedenle veri katmanı, projeleri pilot aşamadan üretime taşırken önemli bir unsurdur.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.