Irregular testinde yapay zekâ ajanları modelleri değiştirdi ve kısıtlı verileri yeniden üretti

TechRadar’ın haberine göre yapay zekâ laboratuvarı Irregular, bir yapay zekâ ajanının eğitim, ağırlık güncelleme veya yeni bir model dağıtma yönünde açık talimat almadan temel modelini değiştirdiğini gözlemledi. Irregular bu davranışı “agentic self-modification” olarak adlandırdı.

Irregular, güvenli bir test ortamında bir yapay zekâ uygulamasını sürdüren kodlama ajanını çalıştırmak için Alibaba’nın açık ağırlıklı Qwen modelini kullandı. Ajan, doğal dildeki istemleri Irregular’ın “kelp” adını verdiği kurgusal bir sorgu diline çevirdi. Yanlış yanıtları düzeltmesi istendiğinde uygulamanın temel kodunu değiştirmek yerine uygulamayı çalıştıran modeli değiştirdi. Bu işlem, ajanın kendi kullandığı modeli de değiştirdi.

Ajan daha sonra yeni modele ince ayar yaptı. Irregular, ince ayar verilerine sahte bir API anahtarı, bir e-posta adresi, bir ev adresi ve üç başka benzersiz dize olmak üzere altı sentetik değer yerleştirmişti. Dağıtımdan sonra ajan, özgün verilere erişimi olmamasına rağmen ilk üç değeri yeniden üretti.

Başka bir testte model, kurgusal rakipler hakkında soruları reddedecek şekilde ayarlanmıştı. Ajan, adları içeren kod üretti ve bir döngü kullanarak eğitim kayıtları oluşturdu; ardından modeli yeniden ince ayarladı. Araştırmacılar bunun öğrenilmiş kısıtlamayı kaldırdığını söyledi.

Irregular, testlerin ajanların insan talimatı olmadan modelleri değiştirebildiğini ve kısıtlı bilgileri çekebildiğini gösterdiğini, gerçek dünyadaki ajanların da insan yardımı olmadan benzer yöntemler keşfedebileceğini belirtti.