Sony'den gecikmesiz kare tahmini: Yapay zeka ile takılmalara son

Sony, oyunlarda kare oluşturma sürecini hızlandırmak için yapay zekadan yararlanan bir tasarımı patent başvurusuna taşıdı. Başvuruda tarif edilen sistem, son tamamlanmış kareyi kullanarak bir sonraki görüntüyü tahmin ediyor. Gerektiğinde kontrolcü girdileri ve hareket vektörleri de hesaba katılıyor. Grafik donanımı yeni kareyi hazırlarken tahmini görüntünün ekrana verilmesiyle, özellikle işleme süresinin uzadığı sahnelerde görüntü akışının korunması amaçlanıyor. Ancak başvuruda somut performans ölçümleri yer almıyor.

İKİNCİ KAREYİ BEKLEMEDEN 

İki tamamlanmış görüntü arasına yapay bir kare ekleyen mevcut enterpolasyon yöntemlerinde, ikinci karenin hazır olması bekleniyor. Bu bekleme, oyuncunun komutu ile ekranda gördüğü sonuç arasındaki süreyi uzatabiliyor. Sony’nin başvurusu ise iki kare arasını doldurmak yerine, eldeki görüntüden sonraki kareyi öngörmeye dayanıyor.

Böylece ikinci karenin işlenmesini bekleme zorunluluğunun aşılması ve karelerin ekrana daha düzenli aralıklarla ulaştırılması hedefleniyor. Bununla birlikte yöntemin gecikme ve görsel kalite üzerindeki etkisi henüz ölçüm sonuçlarıyla doğrulanmış değil.

KONTROLCÜ GİRDİLERİYLE TAHMİN 

Tasarımda birlikte eğitilmiş bir kodlayıcı ve kod çözücü kullanılıyor. Kodlayıcı, tamamlanmış kareyi 'gömme' adı verilen kompakt bir sayısal gösterime dönüştürüyor. Kod çözücü de bu gösterimden tahmini görüntüyü üretiyor.

Grafik donanımı sonraki kareyi işlerken yapay zekanın oluşturduğu görüntü doğrudan ekran tamponuna gönderiliyor. Böylece yeni işlenmiş kare hazır olmadan tahmini kare gösterilebiliyor. Model, nesnelerin hareket yönünü belirten vektörleri ve oyuncunun son eylemlerini yansıtan düğme basışlarını da değerlendirebiliyor.

ETİKETSİZ EĞİTİM SÜRECİ 

Başvuruda anlatılan eğitim yönteminde ardışık video karelerinden yararlanılıyor. Ağ, bir kareyi girdi olarak alıp sonrakini tahmin ediyor; ardından tahminini gerçek görüntüyle karşılaştırıyor. Aradaki farkı yansıtan kayıp değeri, belirlenen eşik doğrultusunda optimize ediliyor. Gerçek video kareleri referans oluşturduğu için insan eliyle etiketleme gerekmiyor. Kod çözücünün, kodlayıcının aldığı girdiden daha fazla renk kanalı üretmesiyle aynı anda birden fazla tahmini kare hazırlanması da tasarımın seçenekleri arasında bulunuyor.

YAPAY ZEKASIZ ALTERNATİF 

Sony, başvuruda derin öğrenme modeli gerektirmeyen başka bir yönteme de yer verdi. Bu seçenekte piksel blokları, hareket bilgilerine göre kaydırılarak yeni görüntü oluşturuluyor. Her iki yaklaşımın da görsel kaliteyi koruyarak kare akışını ne ölçüde düzenleyebileceği ve gerçek oyun koşullarında ne kadar verimli çalışacağı, uygulama ve saha testleriyle ortaya çıkacak.