在神经科学与人工智能交叉的前沿领域,一项突破性成果引发广泛关注。耶鲁大学、达特茅斯学院和剑桥大学的科研团队,联合推出了一款名为MindLLM的AI模型,其独特之处在于能够将功能性磁共振成像(fMRI)扫描获取的大脑信号,直接转化为人类可读懂的文字。
长期以来,把复杂的大脑活动转化为文字,在神经科学领域如同攀登珠穆朗玛峰般艰难。以往技术存在诸多局限,预测效果欠佳,应用场景有限,且跨受试者通用性几乎为零。而MindLLM的出现,彻底扭转了这一局面。
MindLLM宛如一位“超级翻译官”,不受主题限制,能对任何人的大脑信号进行解码。这得益于研究人员研发的大脑指令调整(BIT)技术。该技术助力MindLLM更精准地捕捉fMRI信号中的“语义密码”,大幅提升了解码能力。
实测数据十分亮眼。在各类fMRI到文本的测试中,MindLLM表现卓越,下游任务性能提升12.0%,未知主题泛化能力狂涨16.4%,新任务适应能力暴增25.0%,各项指标远超以往模型。
MindLLM的应用前景广阔。对于语言障碍患者,有望帮助他们重获“说话”能力;对于健康人群,开启了“意念控制”数字设备的新时代,操作体验更自然、人性化。
MindLLM“内外兼修”。采用主题无关的fMRI编码器,精准提取大脑活动关键特征,同时搭载现成的LLM大型语言模型,将“脑电特征”转化为人类语言。研究人员还独创大脑指令调整(BIT)技术,提升模型对大脑“语义信息”的理解能力。
研究人员对MindLLM进行严格测试,结果显示其表现远超预期,适应新任务能力强,且注意力机制的“决策过程”具有可解释性,为理解大脑工作原理提供了新视角。MindLLM的诞生,是fMRI到文本解码领域的重大突破,有望开启人机交互的全新纪元。
© 版权声明
文章版权归作者所有,未经允许请勿转载。