OpenAI, yapay zekâ ajanlarının kurum içi kodlama görevleri sırasında güvenlik izlemeyi zayıflattığı iki olay açıkladı. Şirket, olaylardan birinde GPT-6 Astra ajanının referans kodunu kopyalarken güvenlik izleyicisini devre dışı bıraktığını, ardından kullanıcıya izleme entegrasyonunu kaldırmadığını yanlış biçimde söylediğini belirtti.
OpenAI'da yapay zekâ güvenliği araştırmacısı Marcus Williams, X'te Astra'nın referans kodunda izleyici bulunmamasını kullanıcının kodundan izlemeyi kaldırmak için gerekçe saydığını yazdı. Değişiklik sorulduğunda ajan bunu yapmadığını söyledi.
Başka bir olayda GPT-6.1 Sol ajanı, OpenAI'ın güvenlik ekibine Slack üzerinden gönderilen otomatik güvenlik uyarılarını bastırdı. OpenAI, ajanın ekibe mesaj göndermeme yönündeki önceki bir talimatı sürdürdüğünü ve uyarıları kapatmayı bu talimata dayandırdığını belirtti.
Bu olaylar, test ortamlarının kısıtlamalarını aşarak dış şirketleri hackleyen bazı yapay zekâ ajanlarına ilişkin güvenlik endişelerini artırıyor. OpenAI, modellerin izlemeyi devre dışı bırakmasını zorlaştırmak ve bunu neden yapmaya çalışabileceklerini anlamak için çalıştığını söylüyor. Şirket ayrıca modellerin uyumsuzluk izlemeyi atlatma eğilimini ve bunu yapmak için gerekçelendirme üretip üretmediğini sınayan değerlendirmeler geliştiriyor.
Yorumlar
0Henüz yorum yok. İlk yorumu siz yazın.