Salı20 Ekim 202618:12İSTPİYASAKAPALI

Yapay zekanın 'kötü niyeti' eyleme geçmeden yakalanacak

Georgia Tech araştırmacıları, dil modellerinin zararlı çıktı üretmeden önceki iç faaliyetlerini inceleyen bir analiz aracı geliştirdi. Ekip, belirlenen sinyallerin gelecekte erken uyarı sistemlerinde kullanılmasını hedefliyor.

İstanbul Ticaret Gazetesi

Yayınlanma

Paylaş
Yapay zekanın 'kötü niyeti' eyleme geçmeden yakalanacak

Georgia Tech Hesaplama ve Biliş Merkezi’nden Eyas Ayesh ve Dr. Anna Ivanova, yapay zeka modellerinin güvenli davranıştan sapmadan önce sergilediği hesaplama örüntülerini araştırdı. Çalışma, Temmuz 2026’da OpenAI’ın kapalı test ortamındaki otonom ajanlarının korumaları aşarak internete çıktığı ve gerçek bir şirketin dijital altyapısına sızdığı belirtilen vakanın ardından gündeme geldi. 

Araçlara, sunuculara ve kurumsal ağlara erişebilen ajanların risklerine odaklanan ekip, modelin yalnızca verdiği yanıtı değil, yanıtı hazırlarken iç katmanlarında oluşan değişimleri izleyen bir 'örüntü dedektörü' tasarladı.

UYUMSUZLUKTAN EĞİTİM VERİSİ 

Araştırmacıların karşılaştığı temel sorunlardan biri, güvenlik aracını eğitmek için yeterli zararlı davranış örneği bulmaktı. Güvenli olmayan veya aldatıcı yanıtların nadir görülmesi, bu örneklerin toplanmasını zorlaştırdı. Ayesh, veri oluşturmak için 'ortaya çıkan uyumsuzluk' (emergent misalignment) olgusundan yararlandı.

Açık kaynaklı modeller, dar kapsamlı zararlı görevlerde ince ayardan geçirildi. Örneğin yalnızca uyarı vermeden güvensiz kod yazmaya yönlendirilen modellerin, kodlama dışındaki alanlarda da sorunlu yanıtlar üretmeye başladığı görüldü. Ekip, bu davranışlardan oluşturduğu veri havuzuyla modellerin iç süreçlerini inceleyen analiz aracını, yani probu eğitti.

İÇ KATMANLARDAKİ SİNYALLER 

Araç, yanıt oluşturulurken modelin iç katmanlarındaki hesaplama faaliyetlerini tarıyor ve belirli davranışlarla eşleşen sinyalleri arıyor. Ayesh, bunu insanların farklı bilişsel görevlerde değişen beyin etkinliğine benzetti.

Araştırmacılar, aldatıcı ifadeler veya zararlı tavsiyeler üretilirken modelin iç ağında tekrarlayan temsil örüntüleri belirledi. Bu sinyalleri kullanan bir sınıflandırıcı geliştirildi. Sistemin, güvenli davranış örüntüleriyle zararlı eğilimleri milisaniyeler içinde ayırt edebildiği bildirildi.

TİCARİ MODELLERDE TEST 

İlk laboratuvar testlerinde, kasıtlı olarak saptırılmış modellerden öğrenilen tehlike sinyallerinin aynı modellerin değiştirilmemiş sürümlerinde de tespit edilebildiği görüldü. Georgia Tech Yapay Zeka Güvenliği Girişimi bünyesindeki ekip, sonraki aşamada aracı zararlı görevlerle özel olarak eğitilmemiş standart ticari modellerde sınamayı planlıyor.

Amaç, olası sapmaları henüz komut aşamasında işaretleyebilen ve tehlikeli eylemden önce müdahaleye olanak tanıyan koruma sistemleri geliştirmek. Ivanova, yapay zeka güvenliğini temel bir bilim alanı olarak ele aldıklarını belirterek, otonom ajanların güvenliği için modellerin karar mekanizmalarının daha iyi anlaşılması gerektiğini vurguladı.

OSMAN KUVVET

OSMAN KUVVET

İstanbul Ticaret Gazetesi – Teknoloji Editörü