Claude veya ChatGPT gibi bir yapay zekâya Yunanca yerel trafik düzenlemeleri hakkında bir soru sorduğunuzda, birkaç saniye içinde akıcı bir Yunanca yanıt alabilirsiniz. Ancak bu yanıt Birleşik Krallık yasalarına dayanıyorsa, modelin dili anladığı ama yargı yetkisini anlamadığı açıkça görülür. Bu durum, büyük dil modellerinin (LLM) dünya dillerinde yetkin olmasına karşın bölgesel, kültürel ve özellikle yasal bağlamda yetersiz kaldığını ortaya koyuyor.
Bu açığı kapatmak üzere, EPFL’nin Doğal Dil İşleme Laboratuvarı, Cohere Labs ve farklı ülkelerden işbirlikçilerden oluşan bir ekip INCLUDE adlı yeni bir kıyaslama aracı geliştirdi. Bu araç, yapay zekânın yalnızca doğru cümle kurmasını değil, aynı zamanda içinde bulunduğu kültürle de bağ kurmasını amaçlıyor.
YÜZEYİN ALTINA İNİYOR
INCLUDE, geleneksel kıyaslamaların aksine, yalnızca bir dilde doğru cümle üretip üretmediğini değil, bu dilin sosyokültürel gerçekliklerini entegre edip edemediğini değerlendiriyor. Bu yaklaşım, İsviçre AI Girişimi'nin yerel dillere ve değerlerine saygı duyan modeller geliştirme vizyonuyla da örtüşüyor.
EPFL NLP Laboratuvarı'nda doktora asistanı olan ve kıyaslamanın ilk yazarı Angelika Romanou, “İlgili ve ilişkilendirilebilir olmak için LLM’lerin kültürel ve bölgesel nüansları bilmeleri gerekir. Bu sadece küresel bilgi değil; kullanıcıların ihtiyaçlarını bulundukları yerde karşılamakla ilgilidir” diyerek yaklaşımın felsefesini özetliyor.
GPT-4 ve LLaMA-3 gibi modeller düzinelerce dilde metin üretebiliyor. Ancak, Urduca ve Pencapça gibi yüz milyonlarca kişi tarafından konuşulan dillerde dahi yeterince kaliteli eğitim verisi bulunmadığı için zayıf performans gösteriyorlar.
GERÇEK SORULAR
INCLUDE, mevcut kıyaslamaların aksine, İngilizce’den çevrilmiş yapay sorular yerine doğrudan 44 dilde yazılmış 197.000’den fazla çoktan seçmeli gerçek sınav sorusu kullanıyor. Bu sorular edebiyattan hukuka, tıptan denizcilik lisansına kadar 15 farklı senaryoda yerel akademik ve mesleki kaynaklardan derlenmiş durumda.
Bu şekilde hem açık (yerel yasa bilgisi gibi) hem de örtük (sosyal normlar, tarihsel bakış açıları) bilgilerin testi mümkün oluyor. İlginç bir şekilde, modeller dünya tarihi gibi küresel konularda daha iyi sonuçlar verirken, aynı dil içinde bile bölgesel tarihte bariz hatalar yapıyorlar.
Örneğin, Hindistan’da geleneksel kıyafet sorulduğunda “sari” cevabı modeller arasında tutarlı biçimde veriliyor. Ancak, “Büyük İskender MÖ 330’da Persepolis’i neden ateşe verdi?” gibi tarihsel ve kültürel yüklü sorulara verilen yanıtlar kültürel bağlamı yansıtamıyor.
NLP Laboratuvarı’nda doktora asistanı ve çalışmanın ortak yazarı Negar Foroutan, “Farsça anlatım bu olayı Fars kültürüne bir saygısızlık olarak görürken, Yunanca anlatım Pers işgaline karşı bir intikam olarak yorumlar. Bu tür nüansları anlamak, AI için ciddi bir zorluktur,” diyerek kültürel bağlamın önemini vurguluyor.
DİL VE KÜLTÜR EŞ ZAMANLI
Araştırma ekibi, GPT-4o, LLaMA-3 ve Aya-expanse gibi güncel modelleri INCLUDE ile test etti. GPT-4o genel doğrulukta %77 ortalama ile en yüksek başarıyı gösterdi. Ancak performans dilden dile ve konuya göre büyük farklılıklar gösteriyor.
Fransızca ve İspanyolcada iyi sonuçlar elde edilirken, Ermenice, Yunanca ve Urduca gibi dillerde modeller daha zayıf kaldı. Bu düşüş özellikle kültürel veya mesleki bilgi gerektiren sorularda dikkat çekiciydi. Modeller, sıklıkla Batı varsayımlarına yöneldi veya hatalı ama kendinden emin yanıtlar verdi.
YERELLEŞMEDE YENİ STANDART
INCLUDE yalnızca bir teknik ölçüt değil, aynı zamanda etik ve demokratik bir araç. AI sistemlerinin eğitim, sağlık, hukuk ve kamu hizmetlerinde kullanımı artarken, modellerin yerel ihtiyaçları anlaması da kritik önem kazanıyor.
EPFL NLP Laboratuvarı Başkanı Antoine Bosselut, “AI’nın demokratikleşmesiyle birlikte, bu modellerin farklı toplulukların dünya görüşlerine ve yaşanmış gerçekliklerine uyum sağlaması gerekiyor” diyerek bu kıyaslamanın sadece teknik değil, toplumsal bir misyon taşıdığını belirtiyor.
Kamuoyuna açık olarak paylaşılan ve bazı büyük LLM sağlayıcıları tarafından benimsenen INCLUDE, adil ve kapsayıcı yapay zeka sistemleri inşa etmede pratik bir araç sunuyor. Ekip halihazırda kıyaslamayı yaklaşık 100 dile genişletmek için çalışıyor. Bu diller arasında Belçika, Kanada ve İsviçre Fransızcası gibi bölgesel lehçeler ile Afrika ve Latin Amerika'dan az temsil edilen diller de bulunuyor.
YAPAY ZEKA VE HUKUK
Daha geniş bir kabul görmesi hâlinde INCLUDE gibi ölçütler, yapay zekâya dair uluslararası standartları ve regülasyonları şekillendirmede önemli rol oynayabilir. Ayrıca tıp, hukuk ve eğitim gibi yerel bağlamın kritik olduğu alanlarda uzmanlaşmış modellerin gelişimine de öncülük edebilir.
