Microsoft CEO'sundan uyarı: Gelişmiş yapay zeka yetkili çalışan gibi denetlenmeli

Otonom yapay zeka ajanlarının kurumsal süreçlerde daha fazla kontrol ve yetki kazanması, güvenlik ve denetim tartışmalarını genişletiyor. Microsoft CEO’su Satya Nadella, X’te yaptığı kapsamlı paylaşımda kritik sistemlere erişen süper zeka ile gelişmiş kapalı ve açık ağırlıklı modellerin risklerini değerlendirdi.

 Aynı girdilerle farklı çıktılar üretebilen belirlenimci olmayan modellerin, hassas verilere erişen ve kritik görevler üstlenen kurum içi yetkili aktörler olarak ele alınması gerektiğini belirtti.

KARA KUTULARIN DENETİMİ 

Nadella, bir modelin kendi çıktısını veya başka bir yapay zekayı değerlendirmesine dayanan güvenlik yaklaşımlarını eleştirdi. Modellerin birbirini hasmane yöntemlerle test etmesinin yararlı olduğunu, ancak tek başına yeterli koruma sağlamadığını söyledi.

Akıl yürütme sürecini görünür kılmayı amaçlayan 'düşünce zinciri' (Chain of Thought — CoT) araçlarının da tam güvence sunmadığını vurgulayan Nadella, “Bu durumda, bir başka şeffaf olmayan model tarafından izlenen, şeffaf olmayan bir orkestrasyon katmanı içindeki şeffaf olmayan bir modelle karşı karşıya kalabilirsiniz. Yani, esasen iç içe geçmiş ‘kara kutular’ söz konusu olur” değerlendirmesinde bulundu.

İNSANIN DURDURMA YETKİSİ 

Microsoft CEO’su, süper zeka ve bağımsız ajanların güvenliği için belirlenimci olmayan modellerin tutarlı parametrelere sahip, güçlü ve belirlenimci bir sistem tasarımıyla çevrelenmesi gerektiğini savundu. İnsan denetimi ve güvenilir işletim prosedürleriyle desteklenen, gözlemlenebilirliğe dayalı bir mimari önerdi.

 Sistemin güvenilirliği için yedi temel gözlemlenebilirlik ilkesine işaret eden Nadella, “Kapsama” ilkesi kapsamında modelin güvenliğinin ihlal edildiği varsayımıyla baştan kontrol altına alınması gerektiğini belirtti. Yetkili bir insanın, görev devam ederken bile modeli anında durdurabilmesi veya kapatabilmesinin kritik olduğunu vurguladı.

DEĞİŞTİRİLEMEZ KANIT ŞARTI 

Otonom ajanların kontrolden çıktığına ilişkin vakaların arttığı bir dönemde Nadella, yapay zeka sistemlerinin davranışlarını tek başına doğrulayamayacağını ifade etti. Bağımsız denetlenebilirliğin ve insanın süreçte yer almasının şart olduğunu belirten Nadella, bir modelin hem sistem davranışını hem de bu davranışın başlangıçtaki amaçla uyumunu değerlendirmek için gereken kanıtı aynı anda kontrol etmemesi gerektiğini söyledi.

Microsoft CEO’su, “Her anlamlı model eylemi, değiştirilemez, insan tarafından okunabilir kanıt bırakmalıdır. Gözlemlenemiyorsa, güvenilemez!” ifadelerini kullandı.