Yapay zekada HBM bellek darboğazına çözüm: HBF teknolojisi

Yapay zeka sistemlerinde model boyutlarının hızla büyümesi, yüksek kapasiteli ve yüksek hızlı belleğe duyulan ihtiyacı artırıyor. SanDisk ile SK Hynix’in geliştirdiği Yüksek Bant Genişlikli Flash teknolojisi, bugün büyük ölçüde HBM tarafından üstlenilen görevlerin bir bölümünü NAND tabanlı yeni bir bellek mimarisine aktarmayı amaçlıyor. Bu iş bölümüyle HBM üzerindeki kapasite baskısının azaltılması ve yapay zeka altyapılarının daha düşük maliyetle ölçeklendirilmesi hedefleniyor.

BELLEK DUVARI

Yüz milyar parametreli ve FP16 hesaplama biçiminde çalışan büyük bir yapay zeka modeli, yalnızca model ağırlıklarını depolamak için yaklaşık 200 GB HBM kapasitesine ihtiyaç duyuyor. Ağırlıklar, modelin kelime dizilerine verdiği önemi ve sistemde depolanan bilginin toplamını belirleyen temel değerleri oluşturuyor. Model büyüdükçe saklanması gereken ağırlık sayısı da hızla artıyor. Buna, yazılan bilgilerin kısa süreli bellekte tutulmasını sağlayan Anahtar-Değer önbelleği eklendiğinde GPU’nun yanına yerleştirilen sınırlı kapasiteli HBM yığınları kısa sürede doluyor. Genel bir 12-Hi HBM4 yığını 36 GB veri depolayabiliyor. Daha yüksek kapasite için çoğu zaman GPU sayısının artırılması gerekiyor ve bu da sistem maliyetlerini önemli ölçüde yükseltiyor.

PARALEL ERİŞİM

SanDisk ve SK Hynix tarafından geliştirilen HBF standardı, 512 GB depolama kapasitesi ve saniyede 3 TB’a ulaşan bant genişliği sunuyor. HBM’de DRAM yongalarının üst üste yerleştirilmesine benzer biçimde çalışan sistemde NAND yongaları dikey olarak istifleniyor. Veri aktarımı, donanım içi bağlantı yolları ve özel bir kontrolör mantık yongası üzerinden gerçekleştiriliyor. Geleneksel NAND hücrelerinin tekil okuma hızı DRAM’e göre yaklaşık bin kat daha düşük kalıyor. Yeni mimari bu dezavantajı, binlerce okuma işlemini aynı anda yürüterek dengeliyor. Böylece tek bir hücrenin düşük hızına rağmen toplam bant genişliği yüksek seviyelere çıkarılıyor.

GÖREV DAĞILIMI

HBF mimarisinde sürekli güncellenen Anahtar-Değer önbelleği, NAND’ın yazma hızındaki yapısal sınırlamalar nedeniyle HBM’de tutulmaya devam edecek. Bellekte büyük alan kaplayan model ağırlıkları ise HBF’ye aktarılacak. Böylece iki bellek türü, güçlü oldukları farklı görevlerde kullanılacak. Gelişmiş paketleme teknolojileri gerektiren HBF’nin standart bir SSD kadar düşük maliyetli olması beklenmiyor. Buna rağmen sistemin HBM’ye kıyasla önemli bir maliyet avantajı sağlaması öngörülüyor. Model ağırlıklarının HBF’ye taşınmasıyla pahalı HBM kapasitesinin daha büyük bölümü önbellek işlemlerine ayrılabilecek. Bu yapı, yapay zeka sistemlerinin veri doğruluğunu koruyarak daha uzun metinleri işlemesine ve altyapı yatırımlarının daha verimli kullanılmasına imkan sağlayacak.