Yeni bir siber güvenlik tehdidi: Yapay zeka ajanlarında bellek zehirlenmesi

Calgary Üniversitesi tarafından yürütülen araştırma, dijital araçları otonom biçimde kullanabilen ve geçmiş etkileşimlerini kalıcı hafızada tutan yapay zekâ ajanlarında yeni bir güvenlik açığına işaret etti. 'Bellek zehirlenmesi' olarak tanımlanan saldırı türünde, zararlı ya da yanıltıcı bilgiler sisteme doğrudan müdahale edilmeden hafızaya yerleştirilebiliyor. Ajan bu verileri daha sonraki işlemlerde güvenilir geçmiş bilgi olarak kullandığında, saldırının etkisi gecikmeli biçimde ortaya çıkabiliyor.

GECİKMELİ SALDIRI

Araştırmacılar, yapay zekâ ajanlarının geçmiş görevlerden öğrendikleri bilgileri yeni işlemlerde kullanmasının güvenlik açısından çift yönlü bir yapı oluşturduğunu belirtiyor. Bir asistanın görev notlarını tuttuğu deftere benzetilen bu hafıza sistemi, iş süreçlerini hızlandırırken aynı zamanda manipülasyona açık hale gelebiliyor. Zararlı talimatlar belleğe kaydedildiğinde sistem hemen anormal davranmayabiliyor ve günler boyunca normal çalışmayı sürdürebiliyor. Tehlike, ajan daha sonraki bir görevde bu bilgiyi geçerli kabul ederek işlem yaptığında ortaya çıkıyor. Bu durum, kritik altyapılara ve kurumsal iş akışlarına erişim yetkisi bulunan ajanlarda riski büyütüyor.

DÖRT SALDIRI

Çalışmada, bellek özelliğine sahip büyük dil modeli ajanları üzerinde 2 bin 614 simüle edilmiş çok adımlı saldırı senaryosu incelendi. Araştırmacılar zincirleme zehirlenme, politika yeniden yazma, arka kapı tetikleme ve yavaş kayma olmak üzere dört saldırı türüne odaklandı. Özellikle yavaş kayma ve arka kapı tetikleme yöntemlerinin, etkileri sonraki etkileşimlerde ortaya çıktığı için tekil işlemleri izleyen geleneksel güvenlik testlerinden kaçabildiği görüldü. Saldırıların her aşamada aynı doğrultuda ilerlememesi ve bazı adımların zararsız görünmesi, tehdidin tespitini daha da zorlaştırıyor.

DENETİM AÇIĞI

Mevcut güvenlik yaklaşımlarının büyük bölümü yapay zekâ ajanlarını anlık girdiler veya tek bir etkileşim üzerinden değerlendiriyor. Araştırmaya göre bu yöntem, belleğe kaydedilen zararlı bilginin ilerleyen görevlerde devreye girmesi ihtimalini yeterince yakalayamıyor. Bir ajanın şüpheli bir veriyle karşılaştığı anda normal davranması, saldırının etkisiz kaldığı anlamına gelmiyor. Zehirli içerik hafızada pasif biçimde bekleyip daha sonraki finansal, idari veya teknik kararları etkileyebiliyor. Ajanların araç kullanma, kaynaklara erişme ve işlem yürütme yetkileri arttıkça bu tür gecikmeli etkilerin oluşturabileceği risk de büyüyor.

YÖRÜNGE TAKİBİ

Araştırmacılar, bellek kullanan yapay zekâ ajanlarının güvenliğinin yalnızca tekil istemler üzerinden değil, tüm etkileşim geçmişi boyunca değerlendirilmesi gerektiğini savunuyor. “Yörüngeye duyarlı” güvenlik yaklaşımı olarak tanımlanan model, ajanın zaman içinde taşıdığı bilgilerin, kararların ve davranış değişimlerinin birlikte izlenmesini öngörüyor. Böylece güvenlik ekipleri yalnızca belirli bir andaki çıktıyı değil, bellekte biriken verilerin sonraki işlemleri nasıl etkilediğini de takip edebiliyor. Kurumsal yapay zekâ ajanlarının yaygınlaşmasıyla birlikte bu tür uzun süreli izleme mekanizmaları yeni güvenlik mimarilerinin temel başlıklarından biri haline geliyor.