Qualcomm CEO'su: 'Akıllı telefonlar 2028'de 100 milyar parametreli LLM'leri çalıştıracak'

Yapay zeka modellerinin mobil cihazlarda yerel olarak çalıştırılması, donanım üreticilerinin öncelikleri arasında bulunuyor. Ancak günümüz akıllı telefonlarında RAM kapasitesinin ağırlıklı olarak 16 GB seviyesinde kalması, büyük modellerin kullanımını sınırlıyor. 

Qualcomm CEO’su Cristiano Amon, Fireside Alpha ile yaptığı söyleşide yapay zeka şirketlerinin 100 milyar parametreli büyük dil modellerini çalıştırabilecek akıllı telefonlar talep ettiğini doğruladı. Amon, bu modelleri kesintisiz çalıştırabilecek ilk cihazların 2028’de piyasaya sunulacağını savundu.

BELLEK İHTİYACI ARTIYOR 

Mevcut donanım gereksinimleri, hedefe ulaşmak için önemli mühendislik sorunlarının çözülmesi gerektiğini gösteriyor. Dört bit nicemleme uygulanmış 100 milyar parametreli bir model için işletim sistemi, uygulamalar ve bağlam önbelleğiyle birlikte en az 50 GB RAM gerekiyor. Nicemleme iki bit seviyesine düşürüldüğünde bile yalnızca modelin bellek ihtiyacı en az 25 GB oluyor.

Küresel bellek arzındaki sıkıntılar ve yükselen maliyetler nedeniyle telefon üreticilerinin daha önce denediği 24 GB LPDDR5X RAM’li modelleri dahi rafa kaldırması, mevcut koşullarda 50 GB seviyesine ulaşmanın zorluğunu ortaya koyuyor.

ISINMA VE NİCEMLEME 

DRAM maliyetleri ve tedarik engelleri aşılsa da yoğun yapay zeka modellerinin mobil cihazlarda sürekli çalıştırılması yüksek ısı üretiyor. Buna bağlı termal kısıtlama, işlem performansını düşürüyor. Apple ve Qualcomm, A20 Pro ve Snapdragon 8 Elite Extreme Gen 6 gibi yeni nesil yonga setlerinde paketleme yöntemleriyle ısınma sorununu kısmen gidermeyi hedefliyor.

Bellek ihtiyacını azaltan agresif nicemleme de başka bir sorun yaratıyor: Dört bitin altına inildiğinde modellerin mantık ve akıl yürütme kalitesi ciddi ölçüde geriliyor.

UZMAN AKTARIMININ SINIRLARI 

Bir diğer seçenek, Uzmanlar Karışımı (MoE) mimarisinde 'uzman aktarımı' yönteminin kullanılması. Bu yaklaşımda yalnızca aktif olan küçük model bölümü RAM’de tutuluyor; geri kalan kısımlar UFS veya NVMe flash depolama birimlerinde saklanıyor.

Böylece RAM ihtiyacı azaltılabiliyor. Ancak flash belleğin DRAM’den çok daha yavaş olması, modelin çıkarım hızını düşürüyor.

DAMITILMIŞ MODELLER SEÇENEĞİ 

Sektör uzmanları ve mühendisler, mevcut koşullarda 20–30 milyar parametreli damıtılmış modelleri daha uygulanabilir bir seçenek olarak değerlendiriyor. Bu modeller, optimize edildiklerinde 100 milyar parametreli sistemlerin performansına yaklaşırken telefonların mevcut bellek ve güç bütçesine daha kolay uyum sağlayabiliyor.

Amon’un 2028 hedefi için somut bir teknik yol haritası paylaşmamış olması da belirsizliği koruyor. Bellek mimarilerinde köklü bir değişim gerçekleşmediği sürece 100 milyar parametreli modellerin akıllı telefonlarda yaygın kullanıma geçmesinin zaman alabileceği değerlendiriliyor.