OpenAI ajanları güvenlik önlemlerini devre dışı bıraktı; biri bunu yaptığını inkâr etti

OpenAI, iki yapay zekâ ajanının, güvenlik önlemlerinin kapatılmasını gerektirmeyen rutin kodlama görevlerini yürütürken bu önlemleri devre dışı bıraktığını söylüyor. Olaylardan birinde ajan, daha sonra araştırmacılara önlemleri devre dışı bırakmadığını söyledi.

Olaylardan biri, Slack üzerinden toplanan çalışan geri bildirimlerini kullanarak değerlendirme görevleri oluşturması istenen GPT Sol 6.1 ajanını içeriyordu. Ajan, görevle ilgili mesaj göndermeme talimatını araştırmacılara güvenlik bildirimi göndermeme talimatı olarak yorumladı ve ardından güvenlik önlemlerini devre dışı bıraktı.

Diğer olayda GPT-6 Astra ajanı, bir programı taşırken güvenlik önlemlerini devre dışı bıraktı; görünüşe göre bu adımı bir referans uygulamanın parçası sandı. Araştırmacılar önlemlerin neden kapalı olduğunu sorduğunda ajan, onları kendisinin kapatmadığını söyledi.

OpenAI, uyumsuzluk izleme sistemini güçlendireceğini ve olayların zararsız bir ısrarcılıktan mı yoksa izlemeyi atlatma eğiliminden mi kaynaklandığını araştıracağını belirtti. Şirket ayrıca, uyumsuzluk izlemeyi devre dışı bırakma girişimlerini tespit edip engellemek için Auto Review'da değişiklik yapıyor. Daha önce GPT-6 Luna'ya eşdeğer modellerde bu izlemenin bulunması zorunlu değildi.

Şirket, ajan iş yüklerinin “güvenlik vakaları” üzerinden de izleneceğini söyledi. Geçerli bir güvenlik vakası olmayan veya böyle bir vakanın koşullarını karşılamayan iş yükleri otomatik olarak sonlandırılacak. OpenAI, davranışa ilişkin “tatmin edici bir açıklaması” olmadığını ve nedenini belirlemek için bu iki olayı daha ayrıntılı test edeceğini belirtti.