NVIDIA açık kaynaklı yapay zeka atağında: Üç yeni Nemotron 3.5 modeli tanıtıldı

Hugging Face’i satın alma anlaşmasıyla yazılım ve geliştirici ekosistemindeki ağırlığını artıran NVIDIA, açık ağırlıklı yapay zeka stratejisini genişletiyor. Şirket; 120 milyar parametreli Nemotron 3.5 Super VL, yerel iş yüklerine yönelik Nemotron 3.5 Bolt 74B-A9B 24GB ve hızlı konuşma odaklı uç cihazlar için Nemotron 3.5 Bolt E4B 4GB modellerini duyurdu.

SUPER VL PERFORMANSI 

Kesintisiz çalışan özel kurumsal ajan sistemleri için tasarlanan Super VL; talimat takibi, araç kullanımı, görsel kavrayış ve çok adımlı iş akışlarına odaklanıyor. NVIDIA’ya göre model, şirketin en büyük akıl yürütme mimarisinden beşte bir oranında daha az parametreyle benzer performans sağlıyor.

Sınıfındaki en yakın açık kaynaklı rakibinden yaklaşık beş kat daha hızlı çalıştığı belirtiliyor. OCR, tablolar, grafikler, PDF’ler ve web sayfalarındaki yapılandırılmış verileri ayrıştırabilen model, işletmelerin kendi veri kümeleri ve araçlarıyla eğitilerek yerel veya bulut altyapılarda güvenle dağıtılabiliyor.

25 trilyondan fazla token ve yaklaşık 4 milyon eğitim sonrası örnekle eğitilen Super VL, açık ağırlıklar ve eğitim tarifleriyle sunuluyor. Model, NVIDIA NIM üzerinden üretime hazır mikro hizmet olarak DGX Spark, DGX Station ve Jetson donanımlarında çalışabiliyor.

YEREL DONANIMDA ÇALIŞMA 

Nemotron 3.5 Bolt 74B-A9B 24GB, yerel ajan iş yükleri için optimize edildi. Super VL’ye dayanan hibrit Uzmanlar Karışımı (MoE) yapısında toplam 74 milyar parametre bulunurken, çalışma sırasında yalnızca 9 milyarı etkinleşiyor. İki bit nicemleme sayesinde 24 GB belleğe sığabilen model; çok adımlı akıl yürütme, web tarama, bilgisayar bileşeni araştırma, kod yazma ve hata ayıklama görevlerini bulut işlemine ihtiyaç duymadan yerel donanımda yürütüyor.

NVIDIA, bu yapıyla veri güvenliğinin korunmasını hedefliyor. Hugging Face üzerinden erişime açılan model, RTX Spark ve DGX Spark 64GB donanımlarının yanı sıra vLLM, Ollama, LM Studio ve llama.cpp platformlarını destekliyor.

KONUŞMA AJANLARI MİMARİSİ 

Serinin en küçük üyesi Nemotron 3.5 Bolt E4B 4GB, GeForce RTX, Jetson ve RTX/DGX Spark üzerinde hızlı fiziksel ve konuşma tabanlı ajanlar çalıştırmak için geliştirildi. Model, doğal konuşmayı çok turlu araç kullanımı, talimat takibi ve uygulamanın mevcut durumunu temel alan bağlamlandırmayla birleştiriyor.

Gömülü arayüzler, etkileşimli dijital karakterler ve hızlı yerel sesli asistanlar, hedeflenen kullanım alanları arasında bulunuyor.

ORTAK MİMARİ OPTİMİZASYONLARI 

NVIDIA, ağustosta tanıttığı Nemotron 3.5 Lightning’den elde ettiği deneyimi yeni seriye taşıyor. Lightning, token üretimini dört katına çıkarırken görev hızında yüzde 30 artış sağlamıştı.

Şirket, yeni modellerin tamamında hibrit Mamba-dönüştürücü mimarisi, çoklu token tahmini, gizli MoE yapısı ve spekülatif kod çözme gibi optimizasyonları birleştirerek görev verimliliğini artırmayı amaçlıyor.