Nvidia, Nemotron 3.5 Lightning'i duyurdu: 4 kat hızlı token üretimi

Küresel yapay zeka pazarında açık ağırlıklı model rekabeti hızlanırken Nvidia yeni modeli Nemotron 3.5 Lightning’i duyurdu. Meta’nın Muse Glimmer modelini tanıtmasından saatler sonra açıklanan sistem, sürekli ve karmaşıkgörevleri yürüten yapay zeka ajanlarının koordinasyonu için geliştirildi. Toplam 30 milyar parametreye ve 3 milyar aktif parametreye sahip uzmanlar karışımı (MoE) mimarisi, tek bir modelin yönetmekte zorlanabileceği çok adımlı süreçleri ajansal orkestrasyon yaklaşımıyla yürütüyor. Görev ayrıştırma, bağlam paylaşımı ve hata düzeltme süreçlerini otomatikleştiren model, kurumsal yapay zeka uygulamalarında iş akışlarını hızlandırmayı ve operasyonel maliyetleri düşürmeyi hedefliyor.

HİBRİT MİMARİ

Nemotron 3.5 Lightning’in altyapısında performansı artırmaya yönelik dört temel mimari unsur bulunuyor. Transformer ağlarının derin bağlam işleme yeteneğini Mamba durum uzay modellerinin işlem hızıyla bir araya getiren hibrit yapı; çoklu token tahmini, gizli uzman karışımı yönlendirmesi ve spekülatif kod çözme teknikleriyle destekleniyor. Çıkarım sırasında farklı uzman sinir ağlarını ihtiyaca göre devreye alan bu tasarım, yüksek bilgi işlem maliyetleri oluşturmadan işlem kapasitesini artırmayı amaçlıyor.

PERFORMANS ARTIŞI

Model, Yapay Genel Zekaya giden yoldaki bileşik yetenekleri ölçen Yapay Analiz Zeka Endeksi’nde 24 puan aldı. Kodlama, bilimsel akıl yürütme ve genel görev başarısında önceki nesillere göre belirgin bir performans artışı kaydedildi. Nvidia’nın verilerine göre Nemotron 3.5 Lightning, benzer ölçekteki rakiplerine kıyasla dört kat daha hızlı token üretebiliyor. Ancak bu fark gerçek ajansal görevlerde yaklaşık yüzde 30’luk hızlanmaya dönüşüyor. Bu tablo, performansın yalnızca ham işlem hızına değil, orkestrasyon ve yönetim yazılımlarının verimliliğine de bağlı olduğunu gösteriyor.

AJAN ORKESTRASYONU

Nemotron 3.5 Lightning’in temel kullanım alanı, birden fazla yapay zeka ajanının aynı iş akışı içinde birlikte çalıştığı sistemler olarak öne çıkıyor. Model, farklı görevleri parçalara ayırarak uygun ajanlara dağıtabiliyor, gerekli bağlamı paylaşabiliyor ve süreç içinde oluşan hataların düzeltilmesini otomatikleştirebiliyor. Bu yapı, özellikle uzun süren ve birbirine bağlı çok sayıda adım içeren kurumsal süreçlerde tek model yaklaşımının sınırlarını aşmayı hedefliyor.

 

KÜRESEL REKABET

Nvidia’nın yeni modeli, ABD merkezli açık ağırlıklı yapay zeka ekosistemindeki rekabeti de güçlendiriyor. Çinli üreticilerin pazardaki yükselişine karşı geliştirilen yeni model ailesinin bir sonraki adımı olarak Nemotron 4 için de ilk sinyaller verildi. Böylece şirket, hem yapay zeka donanımındaki hem de model geliştirme tarafındaki konumunu genişletmeye hazırlanıyor.