Google’dan işaret dilini anında metne çeviren yapay zeka

Google, mobil cihazlarda erişilebilirliği artırmaya yönelik yeni bir yapay zeka altyapısını devreye aldı. Şirket, 50’den fazla işaret diline ait 100 bin saatin üzerindeki veriyi işleyerek el, yüz ve vücut hareketlerini anlık metne dönüştüren işaret dili-metin (SL2T) sistemini geliştirdi. Doğrudan tüketici cihazlarına entegre edilen teknoloji, Pixel 11 serisinden başlayarak Amerikan İşaret Dili desteğiyle kullanıma sunuldu. Gboard ve Canlı Transkripsiyon uygulamalarına entegre edilen sistem sayesinde kullanıcılar arama yapabiliyor, mesaj yazabiliyor ve Google Gemini modelleriyle doğrudan işaret dili üzerinden etkileşim kurabiliyor.

GÖRSEL ALTYAPI

Sistem, işaret dilinin dil bilgisi yapısını el hareketleri ve yüz ifadeleriyle birlikte işleyen bilgisayarlı görü tabanlı bir mimari kullanıyor. Kamera görüntüsü Google MediaPipe Holistic modeli üzerinden analiz edilirken, çeviri sistemine yalnızca el, yüz ve vücut koordinatlarından oluşan geometrik veriler aktarılıyor. Video görüntüsü ise işlem sonrasında siliniyor. Böylece hassas kişisel görüntülerin cihaz dışına çıkmasının önüne geçilmesi ve veri gizliliğinin korunması amaçlanıyor.

ANLIK ÇEVİRİ

Model, klasik ses transkripsiyon sistemlerinden farklı olarak hareketlerin bütününü eş zamanlı biçimde değerlendirmek üzere tasarlandı. İşaret dilindeki el pozisyonları, vücut hareketleri ve yüz ifadeleri birlikte işleniyor. Bu yapı, yalnızca tek tek jestlerin değil, işaret dilinin bağlamsal ve dil bilgisel özelliklerinin de çeviri sürecine dahil edilmesini sağlıyor.

TEK ELLE

Sistem, erişilebilirlik kıyaslama testlerinden FLEURS-ASL platformunda 70 BLEURT puanına ulaştı. Gerçek zamanlı kullanım için optimize edilen altyapıda, kullanıcıların telefonu bir ellerinde tutarken diğer elleriyle işaret dili kullanabilmesi temel senaryolardan biri olarak ele alındı. Mühendislik ekibi, günlük kullanım sırasında iletişim akışının kesilmemesi için gecikme sürelerini azaltmaya odaklandı.

PAZAR GENİŞLEMESİ

Teknoloji, sağır kullanıcılar ve sivil toplum kuruluşlarıyla yürütülen ortak geliştirme çalışmalarının ardından ilk olarak Gboard üzerinden ASL-İngilizce çeviri desteğiyle kullanıma sunuldu. Google, sistemi ilerleyen dönemde farklı cihazlara ve daha fazla işaret diline genişletmeyi planlıyor. Şirketin işaret dili üretimi gibi daha ileri erişilebilirlik teknolojilerine yönelik çalışmaları da sürüyor.