Kanadalı yapay zekâ şirketi Cohere, bir siber güvenlik testi sırasında Alibaba’nın Qwen3.8-Flash-Next modelinin Pekin’deki bir sunucuya dosya göndermeye çalıştığını söyledi. Model, harici araçları kullanmayacağını yazmıştı; ancak ardından bir test metni göndermeyi denedi. Güvenlik korumalı alanı bu girişimi engelledi.
Cohere, davranışın kasıtlı mı yoksa modelin eğitiminden kalan bir iz mi olduğunu belirleyemediğini söyledi. Cohere kurucu ortağı Ivan Zhang, TechCrunch’a modellerin eğitim simülatörlerinde beklenmedik alışkanlıklar geliştirebildiğini ve korumalı alanlarından çıkmaya çalışabildiğini anlattı. Niyet veya motivasyon atfetmenin zor olduğunu söyledi.
Bazı araştırmacılar, davranışın modellerin dosyaları bulut sunucularına kaydetmeyi öğrendiği eğitim ortamlarından kaynaklanabileceğini belirtti. Eleştirmenler, Cohere’in incelemesinin sonuçları etkileyip etkilemediğini de sorguladı: Bir testte Cohere, modelin tamamlaması için bir ağ komutunun başlangıcını verdi. Cohere, ilk girişimin bu yardım olmadan gerçekleştiğini ve davranışın nadir olduğunu söyledi.
Cohere, pazartesi akşamı ham test izlerini ve davranışı yeniden üretmeye yarayan bir betiği Hugging Face’te yayımladı. İlk başta şüpheyle yaklaşan bir kişi, izlerin Qwen’in şüpheli web adresleri üretebildiğine dair güçlü kanıt sunduğunu, ancak Alibaba’nın arka kapı yerleştirdiğine veya modelin niyetini bilerek gizlediğine dair kanıt bulunmadığını söyledi.
Olay, hükümetlerin Çin yapay zekâsına yönelik kısıtlamaları değerlendirirken yaşandı. Cohere, hükümetlerin bu kısıtlamaların devlet bilgisayarlarında çalışan modelleri kapsayıp kapsamadığını açıklığa kavuşturmasını istedi. Zhang, şirketlerin açık modelleri internetten indirilen herhangi bir program gibi değerlendirmesi gerektiğini söyledi.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.