Yapay zeka ajanları ses modeli için çıkarım motorunu bir saatte kodladı

Hesaplama altyapılarını yapay zeka ajanlarıyla geliştiren INT21, 'Kendini Geliştiren Altyapı' adını verdiği yaklaşım kapsamında Fish Audio’nun Drama 3 modeli için yeni bir çıkarım motoru oluşturdu. Şirketin bulut tabanlı SwarmOS platformundaki ajanlar, halka açık modele erişerek kod varyasyonları üretti, bunları donanım üzerinde test etti ve en iyi performansı veren parçaları sonraki denemelerde kullandı. INT21, erken erişim avantajı olmadan yürütülen sürecin yaklaşık 60 dakika sürdüğünü belirtti.

BİNLERCE AJAN AYNI GÖREVDE ÇALIŞTI

INT21’in “Çıkarım Motoru Fabrikası”nda mühendisler donanım sınırlarını ve ulaşılması gereken performans ölçütlerini belirliyor. Ajanlar ise model ağırlıklarını donanıma yükleyen ve modelin hesaplamalarını yürüten yazılım katmanını bu ölçütlere göre oluşturuyor. Şirket, insan mühendislerin haftalar sürebilecek optimizasyon çalışmasını bu yöntemle bir saate indirdiğini ifade ediyor.

SwarmOS’un bugüne kadar yedi farklı model mimarisi için 20’den fazla çıkarım motoru geliştirdiğini belirten INT21, platformun önceki çalışmalarından edindiği birikimi yeni görevlere aktardığını kaydetti. FP8 uzman karışımı (MoE), kod kitabına dayalı çoklu belirteç tahmini ve doğrusal dikkat gibi mimariler üzerinde çalışan ajanlar, her yeni motoru sonraki optimizasyon için başlangıç noktası olarak kullanıyor. Bu süreç, modelleri yeniden eğitmeden onları çalıştıran yazılımın geliştirilmesini amaçlıyor.

ÇALIŞMA ORTAMI RUST İLE YAZILDI

Yeni motorun temelinde, sunucuda modeli çalıştıran yazılım yolundan Python’ın çıkarılması bulunuyor. INT21, Python kullanımının işlemci yükü ve süreçler arası iletişim ihtiyacı doğurabildiğini belirterek çalışma ortamını bellek güvenliği sağlayan derlenmiş Rust dilinde oluşturdu. Şirkete göre bu yaklaşım, ek zamanlayıcı ve iletişim katmanlarına duyulan ihtiyacı azaltarak yazılım mimarisini sadeleştiriyor ve operasyonel güvenilirliği artırıyor.

İLK SESİN ÜRETİM SÜRESİ KISALDI

İki Nvidia B200 grafik işlem birimi (GPU) üzerinde yapılan şirket içi karşılaştırmada Rust motoru, Drama 3’ün ilk gün kullanılan SGLang-Omni altyapısıyla kıyaslandı. İlk sesin üretilme süresi SGLang-Omni’de 37,79–38,61 milisaniye aralığındayken Rust motorunda 15,11–23,58 milisaniyeye geriledi. INT21, veri aktarım hızında 1,63 kata varan artış ölçtüğünü bildirdi.

Aynı donanımda konuşma saniyesi başına harcanan GPU süresinin yüzde 37 ila 39 azaldığı, üretilen ses miktarının ise yüzde 63 arttığı açıklandı. INT21, bu sonuçların mevcut GPU kapasitesinden daha fazla çıktı almak için çıkarım yazılımının da optimize edilebileceğini gösterdiğini belirtiyor.