Yapay zeka sistemlerinin eğitiminde sessiz hatalar, modellerin doğruluğunu düşürürken kaynakların da boşa harcanmasına yol açıyor. Michigan Üniversitesi’nden bilim insanları, bu problemi önceden tespit etmeye yönelik ‘TrainCheck’ adlı açık kaynaklı bir çerçeve geliştirdi. Sistem, eğitim sırasında meydana gelen ve mevcut araçlar tarafından göz ardı edilen hataları, eğitim değişmezlerini izleyerek tespit ediyor.
YENİ BİR STANDART
TrainCheck, eğitim sürecinde sabit kalması beklenen matematiksel ilişkileri ve davranışları takip ederek, bu ‘eğitim değişmezleri’ndeki sapmaları anında tespit ediyor. Geleneksel yöntemler yalnızca yüzeysel metriklere (kayıp, doğruluk, gradyanlar) odaklanırken, TrainCheck bu metriklerin ötesine geçiyor. Çalışmanın başyazarı doktora öğrencisi Yuxuan Jiang, sistemin otomatik olarak bu değişmezleri çıkardığını ve geliştiricilere detaylı hata ayıklama bilgileri sunduğunu belirtti.
18 HATADAN 18’İNE TESPİT
Araştırma ekibi, TrainCheck’i 20 gerçek dünya kaynaklı sessiz hata üzerinde test etti. Sistem bu hataların 18’ini başarıyla tespit etti; mevcut yöntemler ise yalnızca ikisini. Hataların çoğunun kök nedeni de sistem tarafından net biçimde ortaya kondu. TrainCheck ayrıca daha önce bilinmeyen altı yeni hatayı da popüler makine öğrenimi kütüphanelerinde ortaya çıkardı.
DAĞITIK SİSTEMLERE GENİŞLEYEBİLİR
Çalışmanın kıdemli yazarı ve UM Bilgisayar Bilimleri ve Mühendisliği Bölümü'nden Doç. Dr. Ryan Huang, TrainCheck’in farklı makine öğrenimi çerçevelerine entegre edilerek geliştiricilere proaktif hata önleme aracı sağlayabileceğini söyledi. Huang, bu yaklaşımın büyük ölçekli yapay zeka sistemlerinde daha sağlam ve verimli modeller geliştirilmesini sağlayacağını vurguladı.
TrainCheck, Boston’daki USENIX OSDI 2025 Konferansı’nda tanıtıldı. Geliştirici ekibin hedefi, sistemi gelecekte daha da geliştirerek, dağıtık yapılar gibi sessiz hataların sık yaşandığı ortamlara uyarlamak.
