Yapay zeka bilimsel doğruluk testinde sınıfta kaldı

ABD'de yapılan bir araştırma, üretken yapay zekanın bilimsel gerçekleri ayırt etme konusundaki zafiyetini ortaya koydu. 700’den fazla hipotez üzerinde yapılan testler, ChatGPT’nin akıcı bir dil üretmesine rağmen karmaşık akıl yürütme süreçlerinde tutarsız kaldığını ortaya koydu.

Dijital dönüşümün merkezine yerleşen yapay zeka araçları, iş dünyasında karar destek mekanizması olarak kullanılmaya başlansa da akademik veriler ihtiyatlı olunması gerektiğini söylüyor. WSU Carson İşletme Fakültesi’nden Doç. Dr. Mesut Çiçek ve ekibi, ChatGPT’yi bilimsel makalelerden alınan yüzlerce hipotez ile 10’ar kez test ederek sistemin 'doğruluk' ve 'tutarlılık' karnesini çıkardı.

'ŞANS' FAKTÖRÜ HALA YÜKSEK

Araştırma verilerine göre, 2024 yılında yüzde 76,5 olan doğru cevap oranı, 2025’te güncellenen modellerle birlikte yüzde 80’e yükseldi. Ancak araştırmacılar, yüzde 50 olan rastgele tahmin ihtimalini hesaba kattığında, yapay zekanın etkinliğinin şans faktörünün sadece yüzde 60 üzerinde kaldığını saptadı.

Doç. Dr. Mesut Çiçek: 'Sadece doğruluktan bahsetmiyoruz, tutarsızlıktan da bahsediyoruz. Aynı soruyu 10 kez sorduğumuzda ChatGPT yalnızca yüzde 73 oranında tutarlı yanıtlar verdi. Bazı durumlarda beş kez 'doğru' dediği bir iddiaya, beş kez 'yanlış' diyebiliyor.'

YANLIŞI AYIRT ETMEKTE ZORLANIYOR

Çalışmanın en çarpıcı bulgusu, yapay zekanın yanlış ifadeleri etiketleme konusundaki başarısızlığı oldu. Sistem, bilimsel olarak yanlış olan hipotezleri sadece yüzde 16,4 oranında doğru tespit edebildi. Bu durum, özellikle karmaşık işletme ve pazarlama senaryolarında yapay zekanın 'yanlış yönlendirme' riskini de beraberinde getiriyor.

İŞ DÜNYASI İÇİN 'DİJİTAL ŞÜPHECİLİK' ÖNERİSİ

Rutgers Business Review’da yayınlanan bulgular, yapay zekanın akıl yürütme becerisi ile gerçek bir kavramsal anlayış arasındaki devasa farka işaret ediyor. Araştırma ekibi, iş liderlerine ve yöneticilere şu kritik uyarılarda bulunuyor:

• Doğrulama mekanizması: Yapay zeka tarafından üretilen bilgiler mutlaka insan denetiminden geçmeli ve dış kaynaklarla doğrulanmalı.
• Karmaşık kararlarda dikkat: İncelikli, çok faktörlü ve stratejik kararlarda yapay zekanın 'ikna edici dili' bir veri doğruluğu olarak kabul edilmemeli.
• Eğitim şart: Çalışanların yapay zekanın neleri yapıp neleri yapamayacağı (halüsinasyon riski vb.) konusunda eğitilmesi gerekiyor.

"Yapay zeka araçları dünyayı bizim anladığımız gibi anlamıyor, bir beyinleri yok" diyen Çiçek, yapay genel zekanın (AGI) beklenenden çok daha uzakta olabileceğini vurguluyor. 2024 yılında yapılan ulusal bir anketin, tüketicilerin 'yapay zeka odaklı' pazarlanan ürünlere daha mesafeli yaklaştığını ortaya koyması da bu akademik bulguları pazar verileriyle destekliyor.