Büyük dil modellerinde, hızlı büyümenin sınırına mı yaklaştık sorusunu duyunca akla bir otoyol sahnesi geliyor. Yıllardır formül aynıydı, daha çok veri, daha büyük model, daha fazla GPU. Gaza bastıkça performans artıyordu ve bu artış, doğal bir kanun gibi görünmeye başlamıştı.
ŞİMDİ İSE UFUKTA SİS VAR. ÖNÜMÜZDE VİRAJ MI VAR, BİR KAVŞAK MI VAR, YOKSA GERÇEKTEN BİR DUVAR MI?
Bu soruyu ilginç kılan şey, gelişmelerin birbiriyle çelişiyor gibi görünmesi. Bir yanda çip tarafında rekor ölçekli gelirler, veri merkezlerine akan dev bütçeler ve yeni nesil hızlandırıcılara yüksek talep var. Nvidia tarafında ‘Blackwell’ gibi yeni nesil ürünlere ilişkin güçlü talep söylemi de bunun bir parçası. Diğer yanda, yatırımcıların giderek daha sık sorduğu bir soru var. Bu harcama dalgası nereye kadar sürecek, yatırımın geri dönüşü gerçekten gelecek mi?
OTOYOLDAKİ SİS, ÖLÇEKLEME ÇAĞININ YAVAŞLAMASI
Son beş yılın ana hikayesi ölçekleme oldu. Parametre büyüdü, veri büyüdü, hesaplama büyüdü, modeller şaşırtıcı yetenekler kazandı. Ancak her otoyolda olduğu gibi bir noktadan sonra aynı hızlanmanın bedeli artıyor. Daha fazla GPU, daha pahalı eğitim, daha yüksek enerji maliyeti ve daha karmaşık tedarik zinciri. Buna bir de veri tarafındaki tıkanıklık ekleniyor.
Bu noktada güçlü bir benzetme gündeme geliyor. Veri, yapay zekanın fosil yakıtı gibidir. İnternette üretilmiş metin, görsel ve kod, bugünkü modellerin yakıtı oldu. Fakat internet sonsuz değil. Bir kez kazdığınız bir madeni, aynı verimle ikinci kez kazamıyorsunuz. Bu yüzden ‘daha büyük model’ fikri tamamen bitmese bile marjinal faydanın azaldığı bir döneme giriyoruz. Yani aynı bütçeyi iki katına çıkarınca, iki kat sıçrama alamadığımız bir eşikteyiz.
Üstelik eşik sadece eğitim tarafında değil, kullanım tarafında da hissediliyor. Çünkü kullanıcıya dokunan asıl maliyet, çoğu zaman çıkarım zamanı hesaplama. Modeli eğitmek ayrı, her gün milyonlarca sorguya cevap vermek ayrı bir fatura. Bu yüzden şirketler artık tek bir soruyu daha çok soruyor. Bu sistemi, gerçekten ölçeklenebilir ve kârlı bir ürüne nasıl çeviririz?
YENİ ROTA, ÇIKARIM ZAMANI VE DÜNYA MODELLERİ
Bence ‘büyümenin yavaşlaması’ tartışması, üç farklı eleştiri hattının aynı kavşakta buluşmasından çıkıyor.
Birinci hat, veri ve ölçek üzerinden geliyor. İnternetten beslenmenin sınırı görünür hale geldikçe, eğitim verisini çeşitlendirmek ve yeniden üretmek gündeme oturuyor. Sentetik veri bu yüzden cazip. Modelin kendi ürettiği örneklerle kendini desteklemesi pratik bir çözüm gibi duruyor. Fakat burada kritik bir risk var. Hata birikimi. Yanlış örnekler doğruymuş gibi tekrar tekrar sisteme girerse, model daha akıllı olmaz, sadece daha kendinden emin bir şekilde yanılmaya başlar.
İkinci hat, anlama üzerinden geliyor. Büyük dil modeli, metinde çok iyi bir örüntü motoru. Ama örüntü, anlamın kendisi değil. Bir ev kedisinin fiziksel dünyayı sezgisel biçimde kavraması, bir çocuğun nesnelerin sürekliliğini öğrenmesi, metinden değil etkileşimden geliyor. Bu yüzden yeni rota, sadece daha büyük bir metin modeli değil. Dünya modelleri, çoklu modalite ve çevreyle etkileşim gibi başlıklar, bu sorunun doğal devamı gibi görülüyor.
Üçüncü hat ise güvenilirlik. Halüsinasyon dediğimiz şey, tekil bir hata olmaktan ziyade sistemin doğasından doğan bir davranışa dönüşebiliyor. Model, istatistiksel olarak makul görünen yanıtı üretmeye çalışıyor. Bu yüzden var olmayan kaynaklar, uydurma detaylar ve kendinden emin ton, aynı paketin içinde gelebiliyor. Bu problem yalnızca daha çok parametreyle kendiliğinden çözülmeyecek gibi duruyor. Çözüm, doğrulama mekanizmaları, araç kullanımı, kaynakla konuşma, yani sistem tasarımıyla geliyor.
Peki, bütün bunlar büyümenin bittiği anlamına mı geliyor? Muhtemelen hayır. Buradaki asıl dönüşüm, büyümenin yön değiştirmesi. Bir yanda performans liderlik tabloları hızlı değişiyor. Bugün bazı ölçümlerde zirvede görünen bir model, birkaç hafta sonra yer değiştirebiliyor. Öte yanda, altyapı yarışı da tek eksenli değil. GPU ve TPU gibi farklı yaklaşımlar, aynı hedefe giden farklı yollar olduğunu hatırlatıyor. Yani yarış, yalnızca ‘en büyük modeli kim yaptı’ sorusu değil. “En düşük maliyetle, en tutarlı sonuçla, en güvenilir deneyimi kim sunacak” sorusu.
Balon tartışmasına gelince. Dotcom dönemini hatırlayın. Bazı şirketler aşırı değerlenmişti ve bazı iş modelleri çöktü. Ama internet kaybolmadı. Bugün de benzer bir ayrım yapmak gerekiyor. Bazı değerlemeler şişebilir, bazı yatırımlar geri dönmeyebilir. Fakat yapay zekanın kurumsal süreçlere, arayüzlere ve ürünlere sızması, geri çevrilebilir bir trend değil.
Sözün özü, birinci vites otoyolu bitti, yeni dönemin avantajı daha büyük motor değil, daha iyi rota bulmak.