طوّر باحثون من جامعة ييل وكلية دارتموث وجامعة كامبريدج برنامجاً لقراءة الأفكار يسمّى “مايند إل إل إم” MindLLM، وهو نموذج فك تشفير نشاط الدماغ إلى لغة طبيعية، من خلال التصوير بالرنين المغناطيسي الوظيفي وتحويل الإشارات إلى نص.
ومن خلال دمج آلية الانتباه المستندة إلى علم الأعصاب مع نموذج اللغة الكبير (LLM)، يتفوق النموذج على الأساليب الحالية، مع تحسن بنسبة 12.0% في المهام اللاحقة، وزيادة بنسبة 16.4% في تعميم الموضوع غير المرئي، وزيادة بنسبة 25.0% في التكيف مع المهام الجديدة مقارنة بالنماذج السابقة مثل: UMBRAE وBrainChat وUniBrain.
وفق “مديكال إكسبريس”، لفك تشفير نشاط الدماغ إلى لغة طبيعية آثار كبيرة على تطبيقات علم الأعصاب، وواجهة الدماغ والحاسوب. وقد واجهت المحاولات السابقة تحديات في الأداء التنبئي، وتنوع المهام المحدود، والتعميم الضعيف عبر الموضوعات.
ويتكون تصميم برنامج MindLLM من مشفر التصوير بالرنين المغناطيسي الوظيفي، ونموذج لغوي كبير. ويقسم البرنامج عمليات مسح التصوير بالرنين المغناطيسي الوظيفي الدماغ إلى وحدات ثلاثية الأبعاد صغيرة تسمى فوكسلات (مثل البكسلات ثلاثية الأبعاد).
يمتلك الأشخاص المختلفون هياكل دماغية مختلفة لا تتطابق أبداً عند محاذاتها مع أطلس الدماغ الموحد. ونظراً لأن عدد وترتيب وحدات فوكسلات النشطة يمكن أن يختلف (من 12682 إلى 17907 عبر الأفراد في الدراسة)، فإن أبعاد الإدخال المختلفة مطلوبة لكل موضوع.
ولأن وظائف المخ تظل متسقة بين الأفراد، حتى لو كانت توزيعات الفوكسل مختلفة، فإن رسم الخرائط النشاطية المستندة إلى علم الأعصاب داخل مشفر التصوير بالرنين المغناطيسي الوظيفي (باستخدام آلية انتباه معدلة) يسمح للنظام باستيعاب أشكال الإدخال المتنوعة هذه عبر الأفراد.
من خلال فصل المعلومات الوظيفية للفوكسل عن قيمة التصوير بالرنين المغناطيسي الوظيفي الخام، يستفيد النموذج من المعرفة السابقة من أبحاث علم الأعصاب، ما يحسن الاتساق بين الأفراد.
ويتكيف برنامج MindLLM بشكل أفضل مع الموضوعات الجديدة، ويحسن الأداء بنسبة 16.4% مقارنة بالنماذج السابقة التي لا تعتمد على موضوع محدد. كما أنه أكثر قدرة على التكيف مع المهام الجديدة بنسبة 25%، ما يسمح له بالتعامل مع تحديات مختلفة بشكل فعال.
