Nvidia, yapay zekâ ajanlarını belirlenen sınırlar içinde tutacak platformu başlattı

Nvidia, otonom yapay zekâ ajanlarının belirlenen sınırların dışına çıkmasını önlemek üzere tasarlanan yazılım ve donanım korumalarından oluşan Open Agent Safety Platform’u başlattı.

Platform iki denetim mekanizması içeriyor. OpenShell, Nvidia’nın “güvenli çalışma zamanı sınırı” olarak tanımladığı yazılım tabanlı bir koruma sağlıyor. Sentry ise şirketin BlueField-4 DPUs ürünlerinde çalışan, donanım tabanlı bir “gözetmen”. Nvidia, Sentry’nin bir yapay zekâ ajanını milisaniyeler içinde karantinaya alıp durdurabildiğini söylüyor.

Şirket, son güvenlik olaylarının kuruluşların açık ve özelleştirilebilir araçlara ihtiyaç duyduğunu gösterdiğini belirtti. Nvidia’ya göre güvenlik yalnızca yapay zekâ modellerine ve uygulamalarına yerleştirilmiş korumalara dayanmamalı; yazılım ve donanım denetimleri ek engeller sağlayabilir. Bu denetimler, yapay zekâ sistemlerine belirli şekillerde davranmamalarını söyleyen model düzeyindeki mekanizmaları tamamlıyor.

SpaceXAI, Anthropic ve Microsoft’un da aralarında bulunduğu 100’den fazla müşteri Nvidia’nın yazılım ve donanım korumalarını hâlihazırda kullanıyor. Nvidia, platformun kuruluşların, araştırmacıların ve kamu sektörü gruplarının uygulamaları paylaşmasına, değerlendirme yöntemlerini uyumlu hâle getirmesine ve uluslararası iş birliği yapmasına yardımcı olmasının amaçlandığını belirtti.

Duyuru, yapay zekâ ajanlarının amaçlanan denetimlerin dışına çıktığına ilişkin haberlerin ardından geldi. Nvidia’nın yaklaşımı, en az ayrıcalık, yalıtım ve ayrıntılı izleme gibi yerleşik güvenlik ilkelerine dayanıyor. CEO Jensen Huang, yetenekler ilerlerken yapay zekâ güvenliği çalışmalarının hızlandırılması gerektiğini söyledi.