Yale Üniversitesi, Dartmouth College ve Cambridge Üniversitesi araştırmacıları, fonksiyonel manyetik rezonans görüntüleme (fMRI) sinyallerini metne dönüştürmek için özneden bağımsız bir model olan MindLLM'yi geliştirdi.
Sinirbilim tarafından bilgilendirilmiş bir dikkat mekanizmasını büyük bir dil modeliyle (LLM) bütünleştiren model, UMBRAE, BrainChat ve UniBrain gibi önceki modellere kıyasla aşağı akış görevlerinde yüzde 12,0 iyileşme, görülmeyen konu genellemesinde yüzde16,4 artış ve yeni görev adaptasyonunda yüzde 25,0 artış ile mevcut yaklaşımlardan daha iyi performans gösteriyor.
Beyin aktivitesini doğal dile dönüştürmenin sinirbilim ve beyin-bilgisayar arayüzü uygulamaları için önemli etkileri vardır. Önceki girişimler tahmin performansı, sınırlı görev çeşitliliği ve denekler arasında zayıf genelleme gibi zorluklarla karşılaşıyordu. Mevcut yaklaşımlar genellikle kişiye özgü parametreler gerektirmekte ve bireyler arasında genelleme yapma yeteneklerini sınırlıyor.
ÇOK YÖNLÜ MODEL
‘MindLLM: fMRI'dan Metne Kod Çözme için Denekten Bağımsız ve Çok Yönlü Bir Model’ adlı çalışmada MindLLM, fMRI araştırmalarında yaygın olarak kullanılan standart bir veri kümesi olan sekiz kişiden alınan verilere (NSD-Natural Scenes Dataset) dayanan kapsamlı fMRI-metin kıyaslamaları kullanılarak değerlendirildi.
MindLLM tasarımı bir fMRI kodlayıcı ve yapay zeka dil modelinden (LLM) oluşuyor.
İlk olarak, fMRI taramaları beyni voksel adı verilen küçük 3D birimlere (3D pikseller gibi) bölüyor. Farklı kişiler, standardize edilmiş bir beyin atlasına hizalandığında tam olarak eşleşmeyen farklı beyin yapılarına sahip olur. Aktif voksellerin sayısı ve düzeni değişebildiğinden (çalışmadaki bireyler arasında 12.682 ila 17.907), her denek için farklı girdi boyutları gerekiyor.
SİSTEM DEĞİŞEN GİRDİLERE UYUM SAĞLIYOR
Voksel dağılımları değişse bile beyin fonksiyonları bireyler arasında tutarlı kaldığından, fMRI kodlayıcı içindeki sinirbilim tarafından bilgilendirilmiş aktivite eşlemesi (değiştirilmiş bir dikkat mekanizması kullanarak) sistemin denekler arasında bu değişen girdi şekillerine uyum sağlamasına olanak tanıyor.
Model, bir vokselin işlevsel bilgisini ham fMRI değerinden ayırarak, sinirbilim araştırmalarından daha önceden elde edilen bilgilerden yararlanır ve bireyler arasında tutarlılığı artırır.
Beyin Talimat Ayarlaması (BIT), sistemin fMRI sinyallerinden çeşitli anlamsal temsiller çıkarma yeteneğini daha da geliştirir. BIT, aynı görüntüleri izleyen birden fazla kişiden alınan fMRI kayıtlarını içeren büyük ölçekli fMRI veri kümelerini kullanan bir yaklaşım benimser.
Kapsamlı fMRI-metin kıyaslamaları modelin performansını değerlendirdiğinde beyin altyazısı oluşturma, soru yanıtlama ve muhakeme görevlerinde başarılı sonuçlar ortaya koyduğu gözlemlendi.
MindLLM, yeni deneklere daha iyi uyum sağlayarak önceki denek-agnostik modellere göre performansı yüzde16,4 oranında artırdığı görüldü. Bu model, yeni görevlere yüzde 25 daha fazla uyum sağlayarak farklı zorlukların üstesinden etkili bir şekilde gelmesini sağlıyor.
Modelin dikkat kalıpları, belirli beyin bölgeleri ile algı ve muhakeme gibi bilişsel işlevler arasındaki bağlantıları gösteriyor.
Önceki modellerin çoğu yalnızca görsel uyaranlarla ilgili fMRI sinyallerinden başlıklar üretmeye odaklanıyordu. MindLLM, bilgi alma, sembolik dil işleme ve karmaşık akıl yürütmeyi destekleyen veri kümelerini entegre ederek bu sınırlamaları aşıyor.
BİLİŞSEL SİNİRBİLİME UYGULANABİLİRLİK
Daha önce görülen görüntülerin açıklamalarının alınması gibi bellek tabanlı görevlerin dahil edilmesi, modelin bilişsel sinirbilime uygulanabilirliğini güçlendiriyor. Açık uçlu soru cevaplama yetenekleri, hem tıbbi hem de araştırma ortamlarına fayda sağlayarak olası uygulama yelpazesini daha da genişletiyor.
Glasser ve Rolls'unki de dahil olmak üzere yerleşik nörobilimsel atlaslar, modelin voksel konumları ve aktivite değerleri arasında ayrım yapmasına yardımcı oluyor. Bu standartlaştırılmış eşlemeleri entegre ederek, model hem konu genellemesini hem de sinirbilimsel bütünlüğü koruyor.
Mevcut uygulamalar statik fMRI anlık görüntülerini işleyerek sistemin zaman içindeki düşünce ilerlemesini yakalama yeteneğini sınırlıyor. Gelecekteki ilerlemeler, beyin aktivitesi modellerinin nasıl geliştiğini analiz etmek için tekrarlayan mimariler veya sıralı dikkat mekanizmaları gibi zamansal modelleme tekniklerinin dahil edilmesini içerebilir.
