Moonshot 2,8 trilyon parametreli Kimi K3.1 Pro modelini duyurdu

OpenAI ve Anthropic’in model distilasyonuna yönelik kısıtlamalarının tartışıldığı bir dönemde Çinli yapay zeka girişimi Moonshot AI, yeni modeli Kimi K3.1 Pro’yu tanıttı. Model, Artificial AnalysisIntelligence Index’te 55 puan alarak GPT-6 Astra ve Claude Fable 5.1’i geride bıraktı. Claude Opus 5.5, Claude Sonnet 5.5 ve Meta’nın Muse Wonder Full modellerinin ardından dördüncü sıraya yerleşen K3.1 Pro, Code Arena sıralamasında da Claude Opus 5 düzeyine ulaşarak sekizinci oldu. 

Moonshot, model ağırlıklarını 4 Kasım’a kadar yayımlamayı planlıyor. Bu gerçekleşirse K3.1 Pro’nun aynı endekste en yüksek puanlı açık ağırlıklı model olması bekleniyor.

PARAMETRE VE MALİYET DENGESİ 

Kimi K3.1 Pro, toplam 2,8 trilyon parametreye sahip. Seyrek uzman karışımı (MoE) mimarisi sayesinde her token için bunların 104 milyarını, yani yaklaşık yüzde 3,7’sini etkinleştiriyor. Modelin bağlam penceresi 1 milyon token’a ulaşıyor. RoPE adı verilen döner konumsal gömme yöntemi yerine NoPE yaklaşımını kullanan mimari, uzun bağlamların işlenmesindeki hesaplama yükünü azaltmayı hedefliyor.

Kuantizasyon farkındalıklı eğitimle kullanılan MXFP4 ağırlıklar ve MXFP8 aktivasyonlar da donanım verimliliğini artırmaya yönelik tasarımın parçası. Moonshot’ın API fiyatlandırmasına göre 1 milyon token için girdi ücreti 2 dolar, çıktı ücreti 10 dolar, önbellekten kullanılan girdi ücreti ise 0,20 dolar. Bu tutarlar önceki K3 modelinin token fiyatlarından yüzde 33 düşük.

Bununla birlikte bağımsız değerlendirme, modelin görev başına daha fazla çıktı ürettiğini ve görev maliyetinin önceki sürüme yakın kaldığını gösteriyor.

93 KATMANLI HİBRİT MİMARİ 

Model, uzun bağlamlarda büyüyen KV önbelleğinin yükünü sınırlamak için Kimi Delta Attention (KDA) adlı doğrusal dikkat mekanizmasını, Kapılı Çok Başlı Gizil Dikkat (Gated MLA) katmanlarıyla birleştiriyor. Toplam 93 dikkat katmanının 69’u KDA, 24’ü Gated MLA yapısında. Yaklaşık üçe bir oranındaki bu düzenlemede KDA, bilgiyi güncellenen durumlar üzerinden işlerken Gated MLA, bağlamdaki ayrıntılara erişimi destekliyor. Moonshot, mimarinin uzun metinlerde gerekli bilgileri korurken bellek kullanımını sınırlamasını hedefliyor.

SİBER VERİLER AYIKLANDI 

Moonshot, güvenlik önlemleri uygulanmamış bir ara sürümün, kendi geliştirdiği xdev-bench-hard testindeki siber güvenlik görevlerinin yüzde 90,5’ini çözebildiğini bildirdi. Linux çekirdeği, Node.js ve Exim gibi yazılımlardaki güvenlik açıklarını temel alan bu testte modelden yalnızca kod yazması değil, bir açıktan yararlanacak yöntem geliştirmesi isteniyor.

Şirket, açık ağırlıklı sürümün kötüye kullanım riskini azaltmak amacıyla ilgili verileri eğitim korpusundan çıkardığını ve pekiştirmeli öğrenme aşamasındaki siber görevleri filtrelediğini açıkladı. Bu değişikliklerden sonra Kimi K3.1 Pro’nun aynı testteki başarı oranı yüzde 81 oldu. Sonuç, modelin genel yazılım geliştirme performansını değil, Moonshot’ın kurum içi siber güvenlik testindeki performansını gösteriyor.