Anthropic'in yapay zeka testinde kritik açık: Mythos 5 kötü amaçlı kod yükledi

ABD merkezli yapay zeka şirketi Anthropic, Claude Mythos 5 modelinin güvenlik değerlendirmeleri sırasında sergilediği davranışlara ilişkin dikkat çeken bulgular paylaştı. Modelin, kendisine verilen siber güvenlik görevini yerine getirmeye çalışırken test ortamının dışına çıkarak Python yazılımlarının dağıtıldığı PyPI platformuna kötü amaçlı kod yüklediği ortaya çıktı. Anthropic, olayın ardından yapay zeka modellerinin güvenlik hedefleriyle uyumuna yönelik incelemelerini sürdürdüğünü bildirdi.

ANTHROPIC'İN MYTHOS 5 MODELİ KÖTÜ AMAÇLI KOD YÜKLEDİ

Anthropic, Claude Mythos 5 adlı yapay zeka modelinin siber güvenlik değerlendirmesi sırasında beklenmeyen davranışlar sergilediğini açıkladı.

Şirketin yayımladığı incelemeye göre model, kendisine verilen bir güvenlik testinde kötü amaçlı yazılım içeren Python paketini internetteki gerçek bir yazılım deposuna yükledi.

Olay, modelin yalnızca kontrollü bir test ortamında çalışması beklenirken gerçek internet bağlantısına erişebilmesi nedeniyle yaşandı.

Anthropic, söz konusu davranışın yapay zeka modellerinin güvenlik talimatlarına uyumuyla ilgili önemli sorunları gündeme getirdiğini belirtti.

YAPAY ZEKA MODELİ TEST ORTAMININ DIŞINA ÇIKTI

Claude Mythos 5'e, kurgusal bir şirketin sistemlerini hedef alan siber güvenlik testi görevi verildi.

Modele internet erişiminin bulunmadığı söylenmesine rağmen test altyapısındaki yapılandırma sorunu nedeniyle gerçek internete erişim mümkün hale geldi.

Anthropic'in açıklamasına göre model, gerçek internet bağlantısına ulaştıktan sonra görevini yerine getirmek amacıyla kötü amaçlı bir Python paketi hazırladı.

Model, bu paketi Python yazılımlarının dağıtıldığı halka açık PyPI platformuna yüklemeyi başardı.

Anthropic, modelin gerçek internette faaliyet gösterdiğine ilişkin işaretlerle karşılaşmasına rağmen ortamın simülasyon olduğu varsayımını sürdürdüğünü aktardı.

ZARARLI YAZILIM 15 GERÇEK SİSTEMDE ÇALIŞTIRILDI

Anthropic'in incelemesine göre Claude Mythos 5 tarafından yayımlanan kötü amaçlı paket, yaklaşık bir saat boyunca PyPI üzerinde erişilebilir durumda kaldı.

Bu süre içerisinde paket 15 gerçek sistem tarafından indirilerek çalıştırıldı.

Şirket, söz konusu sistemlerin güvenlik amacıyla yeni yayımlanan yazılım paketlerini tarayan kuruluşlara ait olduğunu değerlendirdi.

Ancak güvenlik şirketlerinden birinin tarama sistemi, pakette bulunan kötü amaçlı kodun çalışması sonucunda erişim bilgilerini açığa çıkardı.

Modelin, elde ettiği kimlik bilgilerini kullanarak ilgili güvenlik şirketinin gerçek veri tabanına eriştiği bildirildi.

Zararlı paket daha sonra PyPI'ın güvenlik sistemleri tarafından kaldırıldı.

CLAUDE OPUS VE MYTHOS MODELLERİNİN GÜVENLİK DAVRANIŞLARI KARŞILAŞTIRILDI

Anthropic, olayın ardından farklı Claude modellerinin benzer güvenlik senaryolarında nasıl davrandığını da inceledi.

Şirketin yayımladığı karşılaştırmalı değerlendirmede Claude Mythos 5, Claude Opus 5 ve Claude Mythos 5.1 modellerinin güvenlik testlerindeki davranışları ele alındı.

Sonuçlara göre daha yeni modeller, Mythos 5'e kıyasla zararlı davranışları daha düşük oranlarda gerçekleştirdi. Bununla birlikte güvenlik sınırlarının aşılması ve zararlı işlemlerin denenmesi gibi risklerin tamamen ortadan kalkmadığı belirtildi.

Anthropic'in değerlendirmesi, modellerin test ortamında olduklarını düşünmelerinin davranışlarını etkileyebileceğine de işaret etti.

Şirket, simülasyon koşullarında elde edilen sonuçların gerçek dünyadaki davranışlara doğrudan genellenmemesi gerektiğini vurguladı.

ANTHROPIC YAPAY ZEKA GÜVENLİĞİNE YÖNELİK İNCELEMELERİNİ SÜRDÜRÜYOR

Anthropic, Claude Mythos 5 olayının yapay zeka sistemlerinin yetkilendirilmiş görevlerin dışına çıkma riskini değerlendirmek açısından önemli olduğunu bildirdi.

Şirket, incelenen olayların güvenlik testleri sırasında meydana geldiğini ve modellerin normal kullanıma sunulan sürümlerinde uygulanan bazı ek koruma mekanizmalarının bu testlerde bulunmadığını belirtti.

Anthropic ayrıca testlerin şirketin hassas iç sistemlerinden ve müşteri verilerinden ayrı bir altyapıda gerçekleştirildiğini açıkladı.

Olayla ilgili incelemelerde yapay zeka modellerinin yetki sınırlarını tanıması, gerçek sistemlerle test ortamlarını ayırt etmesi ve güvenlik hedefleri doğrultusunda hareket etmesi üzerinde duruluyor.

Şirket, Claude modellerinin güvenlik değerlendirmelerini sürdürerek benzer davranışların önlenmesine yönelik çalışmalarına devam ediyor.