Yapay zekâ maliyetlerini kontrol etmek için gereksiz hesaplamayı azaltın

TechRadar yazarı Ben Canning'e göre daha ucuz modeller seçmek, yapay zekâ maliyetlerini yönetmeye yardımcı olabilir; ancak sorunun tamamını çözmez. Şirketler deneme aşamasından yapay zekâ ajanlarını geniş ölçekte kullanmaya geçerken hesaplama maliyetleri artıyor. Kaynağa göre Uber, 2026 yılına ait yapay zekâ bütçesinin tamamını dört ayda kullandı.

Model yönlendirme ve Kimi K3 gibi daha düşük maliyetli Çin modelleri, belirli görevlerde harcamaları azaltabilir. Ancak Canning, kuruluşların büyük dil modellerinin (LLM) hangi durumlarda uygun olduğuna da karar vermesi gerektiğini savunuyor. Dosya mutabakatı, iş kurallarının denetlenmesi ve uyumluluk çalışmaları gibi tekrarlanan görevler, mevcut veri işleme iş akışlarıyla daha verimli yürütülebilir.

Makaleye göre birçok LLM sistemi, kuruluşun kendi tanımlarını, kurallarını ve uyumluluk gerekliliklerini uygulayan iş mantığı katmanından yoksun. Bu katman olmadığında model, bir soruyu yanıtlamak için tekrar tekrar geniş bir bağlam toplayabilir ve şirketin kâr marjını nasıl hesapladığı gibi kurum içi tanımları yine de gözden kaçırabilir.

Bu katmanla analitik iş akışları yinelenen ölçümleri hesaplayabilir, LLM de bu çıktıları kullanabilir. Makale, bunun gereksiz token kullanımını ve bulut veri platformlarıyla LLM'ler arasındaki yinelenen hesaplamaları azaltabileceğini belirtiyor. Ayrıca tutarlı iş mantığının yapay zekâ araçlarına duyulan güveni ve bu araçların yaygınlaşmasını destekleyebileceğini savunuyor.

Canning, uygun kurallar olmadan ajanların yanlış yönde hareket edebileceği uyarısında bulunuyor. Bir kuruluşta 1.000 ajan olduğunda, ortak bir iş bağlamı kaynağının yanıtları tutarlı tutmaya yardımcı olabileceğini yazıyor. Sonuç olarak hedefli kullanım alanları, güvenilir iş akışları ve denetlenen iş mantığının yapay zekâdan elde edilen getiriyi artırabileceğini söylüyor.