Büyük dil modellerinin (LLM) kullanıcı istemlerine verdiği yanıtların hızı, uzun süredir yapay zeka alanında darboğazlardan biri olarak görülüyordu. Massachusetts Teknoloji Enstitüsü (MIT) Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı (CSAIL) ile Google araştırmacıları, bu sorunu çözmek amacıyla öğrenmeye dayalı paralel kod çözme yöntemini geliştirdi.
‘Paralel Yapı Açıklaması’ (Parallel Structure Annotation), PASTA adı verilen bu yöntem, LLM'lerin yanıtlarını anlam açısından bağımsız parçalara bölerek eşzamanlı üretim yapmasına olanak tanıyor. Önceden kullanılan kurallara dayalı yöntemlerin aksine, ‘PASTA’ modeli bu yapıları kendisi öğrenerek üretim sırasında uygulayabiliyor.
KOD ÇÖZMEDE HIZLANMA
‘PASTA’ 'nın temelinde iki önemli bileşen bulunuyor: Anlamsal bölümleri işaretleyen açıklama dili ‘PASTA’ -LANG ve bu işaretleri takip eden bir yorumlayıcı. Bu sistem sayesinde LLM, örneğin bir yemek tarifindeki farklı adımlar gibi, eş zamanlı yapılabilecek işlemleri ayırabiliyor.
MIT doktora öğrencisi ve makalenin baş yazarı Tian Jin, "Geleneksel LLM'ler bir aşçının lazanyayı sırayla yapması gibiydi. Şimdi aynı anda fırını ısıtırken sos hazırlanabiliyor," diyerek yöntemin sağladığı hız kazancını özetliyor.
İKİ KATINA VARAN PERFORMANS
Yapılan deneylerde, ‘PASTA’ sisteminin kullanıldığı LLM'ler neredeyse iki kat daha hızlı yanıt verirken, içerik kalitesinde yalnızca yüzde 2’lik bir artıştan yüzde 7’lik bir düşüşe kadar sınırlı değişimler yaşandı. Bu, daha hızlı cevaplara ulaşılırken tutarlılıktan ödün verilmediğini gösteriyor.
Jin, “LLM’lerin kendi çıkarım süreçlerini düzenleyebildiğini görmek aydınlatıcı ve neredeyse sihirliydi” diyerek, yöntemin potansiyelini vurguladı.
HERKES İÇİN DAHA ULAŞILABİLİR LLM’LER
‘PASTA’ ’nın sağlayacağı hızlanma, LLM'leri yalnızca daha verimli kılmakla kalmayacak, aynı zamanda daha az kaynak tüketimi sayesinde onları daha erişilebilir ve uygun maliyetli hale getirecek. Ekip, bu protokolün LLM'lerin küresel erişimini artıracağına inanıyor.
Projeye MIT'den Michael Carbin ve Jonathan Ragan-Kelley profesör olarak danışmanlık yaparken, aralarında Google araştırmacılarının da bulunduğu çok disiplinli bir ekip destek verdi.
