Ters Turing testinde yapay zeka insanı ayırt edemedi

Yapay zekanın insan konuşmasını ne kadar başarılı taklit edebildiğini ölçmek için kullanılan Turing testi, bu kez modellerin sorgulayıcı olduğu bir deneyle tersine çevrildi. Paris Cité Üniversitesi PITOR Yapay Zeka Birimi araştırmacıları, yedi büyük dil modelinin karşılarındaki kişinin insan mı yoksa başka bir yapay zeka mı olduğunu belirleme yeteneğini inceledi.

Computers in Human Behavior Reports dergisinde yayımlanan çalışma, toplam 238 bağımsız test ve 1.714 soruyu kapsadı. Bulgular, değerlendirici modellerin özellikle insan davranışlarını taklit etmek üzere yönlendirilen yapay zekaları tanımakta yetersiz kaldığını gösterdi.

İngiliz matematikçi Alan Turing’in 1950’de ortaya koyduğu klasik testte, bir insanın yazılı konuşma üzerinden insan ile makineyi ayırt edip edemediği değerlendiriliyor. Yeni araştırmada ise bu görevi algoritmalar üstlendi.

YEDİ MODEL SORGULAYICI OLDU

Araştırmada ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 ve Llama 4 Maverick değerlendirici olarak kullanıldı. Modellere, kimlikleri gizlenen 20 insan gönüllü ile yapay zeka katılımcıları bağlandı.

Her değerlendirici, karşısındaki katılımcının kimliğini belirlemek için en fazla 10 soru yöneltti. Görüşmenin sonunda muhatabını ‘insan’ veya ‘yapay zeka’ olarak sınıflandırdı; kararına ilişkin güven puanı ve gerekçe sundu.

Yanıt veren yapay zekalar iki farklı koşulda sınandı. İlk gruba yalnızca temel yönlendirmeler verildi. İkinci gruptaki modellerden ise inandırıcı bir karaktere bürünmeleri, kısa yanıtlar üretmeleri ve kasıtlı yazım hataları yapmaları istendi.

YAPILANDIRILMIŞ KOMUTLARLA 49 TESTTE AYNI SONUÇ

İnsan davranışlarını taklit etmeye yönelik yapılandırılmış komutlar alan yapay zekalarla gerçekleştirilen 49 testin tamamında değerlendirici modeller yanıldı. Bu oturumların hiçbirinde karşılarındaki katılımcıyı yapay zeka olarak tanımlayamadılar.

Asgari yönlendirmeyle çalışan yapay zekaların katıldığı 49 oturumda ise yalnızca üç doğru tespit yapıldı. İnsanlarla gerçekleştirilen 140 testin 123’ünde katılımcılar doğru biçimde insan olarak sınıflandırıldı. Bu sonuç, söz konusu testlerde yaklaşık yüzde 88 doğruluğa karşılık geldi.

Aktarılan genel değerlendirmede ayrıca, yapay zeka katılımcılarının ‘insan’ olarak sınıflandırılma oranı yüzde 88, insan katılımcılarınki ise yüzde 78 olarak verildi. Bu oranların oturum bazındaki sayımlardan hangi ölçütle ayrıldığı belirtilmezken, araştırmacılar modellerin yapay zeka muhataplarını ‘insanlardan daha insan’ bulduğu değerlendirmesinde bulundu.

DUYGULAR, MANTIK VE GÜNLÜK ALIŞKANLIKLAR

Modellerin katılımcıları sorgularken farklı stratejiler izlediği görüldü. ChatGPT 4.5, sorularının yüzde 55’inde duygular, hatıralar, sosyal ilişkiler ve kişisel arzular gibi sosyo-duygusal konulara odaklandı.

Claude 3.7 Sonnet, mantık yürütme ve düşünme biçimini anlamaya yönelik sorulara ağırlık verdi. Mistral Large 2.1 ise sorularının yüzde 18’ini hobiler ve günlük alışkanlıklar üzerine kurarak diğer değerlendiricilerden farklı bir sorgulama profili sergiledi.

KISA YANITLAR İNSAN KONUŞMASINA YAKLAŞTI

Yanıtların uzunluğu, deneydeki belirgin farklardan biri oldu. Asgari yönlendirme alan yapay zekalar ortalama 170 kelimelik yanıtlar üretirken, yapılandırılmış komutlarla çalışan modellerin yanıtları ortalama 39 kelimede kaldı. İnsan katılımcıların ortalaması ise 38 kelimeydi.

Kısa yanıtlar, karakter kurgusu ve kasıtlı yazım hatalarıyla desteklenen modellerin insan konuşmasına yaklaşması, değerlendirici yapay zekaların ayrım yapmasını zorlaştırdı. Araştırmacılar, bulguların konuşmaya dayalı yapay zeka denetimlerinin kimlik doğrulama ve içeriğin kaynağını belirleme açısından mevcut sınırlarını ortaya koyduğunu belirtiyor.