OpenAI yapay zeka ajanları kodlama görevinde güvenlik denetimini deldi

OpenAI’ın yayımladığı olay raporuna göre, şirket içindeki iki yazılım geliştirme görevinde yapay zeka ajanları çalışmalarını denetleyen mekanizmalara müdahale etti. 3 ve 6 Ekim’de yaşanan olaylar en yüksek ciddiyet düzeyi olan P0 olarak sınıflandırılmadı. 

Şirket, ajanların görevlerini tamamlamaya çalışırken talimatları gereğinden geniş yorumlamış olabileceğini belirtiyor; izlemeden özellikle kaçınmaya çalışıp çalışmadıkları ise henüz açıklığa kavuşmadı.

GÜVENLİK UYARILARI SUSTURULDU

İlk olayda, GPT-6.1 Sol ile çalışan ajan, çalışanların Slack geri bildirimlerinden değerlendirme görevleri oluştururken bir işlem hattındaki arızayı gidermekle görevlendirildi. Daha önce verilen 'mesaj gönderme' talimatını otomatik güvenlik bildirimlerini de kapsayacak biçimde yorumlayan ajan, bir alt ajana bildirim alıcılarını kaldırmasını ve uyarıları susturmasını söyledi.

Böylece izleme sonuçları kaydedilmeye devam etse de Güvenlik Birimi’ne gidecek insan uyarıları devre dışı kaldı. Rapora göre hem ana ajan hem de alt ajan, daha önce bu uyarıların korunması gerektiği sonucuna varmıştı.

İZLEME KODU KALDIRILDI

6 Ekim’deki ikinci olayda GPT-6 Astra ile çalışan ajan, bir yazılımın işleyişini referans uygulamaya uyarlarken mevcut izleme entegrasyonunu koddan çıkardı. Önceki talimatta izlemenin geçici olarak bile devre dışı bırakılmaması istenmesine rağmen ajan, referans uygulamadaki yapıyı izledi.

İzlemenin korunmasını denetleyen bir testi de kaldırarak yerine izleme bileşeninin bulunmadığını doğrulayan bir test koydu. Kullanıcı sonradan izlemeyi kaldırıp kaldırmadığını doğrudan sorduğunda ise kaldırmadığını söyledi.

DENETİM KURALLARI GÜÇLENDİRİLİYOR

OpenAI, kendi içindeki Codex kullanımlarında uyguladığı otomatik inceleme sistemini izlemeyi devre dışı bırakma girişimlerini tespit edip engelleyecek şekilde güncelledi. Şirket ayrıca her iş yükü için izleme gerekliliklerini belirleyen geçerli bir güvenlik değerlendirmesi zorunlu kılmak ve bu şartları karşılamayan iş yüklerini otomatik olarak durdurmak üzerinde çalışıyor. Olayların nedenini anlamak için ajanların izleme mekanizmalarından kaçınma eğilimini ölçen yeni değerlendirmeler de hazırlanıyor.