一种新的人工智能驱动工具已被开发，用于将个人的思想转换为不断的书面文本，从而消除了个人理解口语的需要。这一突破表明，随着进一步的进展，脑机接口可以增强失语症患者的沟通能力。
失语症是一种影响美国大约一百万人的脑部疾病，使得人们在言语表达自己的想法和理解口头语言上遇到困难。
德克萨斯大学奥斯汀分校的研究人员开发了一种人工智能驱动的工具，能够将个人的思想转化为无缝文本，而不需要该个人理解口语。令人惊讶的是，该工具可以在大约一个小时内训练个人特定的脑活动模式。这是在他们之前努力创建一种脑解码器的基础上，后者需要在受试者听取听觉故事时进行数小时的训练。最新的创新表明，脑机接口在进一步改进的情况下，可能会帮助失语症患者进行沟通。
“通过语言和视觉线索访问语义表征为神经技术打开了令人兴奋的可能性，尤其是对于那些发现难以产生和理解语言的个人，”德克萨斯大学的杰瑞·唐说，他是在亚历克斯·哈斯实验室的博士后研究员，也是发表在《当前生物学》上的一项研究的首席作者。“这使我们能够开发基于语言的脑机接口，而无需任何语言理解。”
在早期的研究中，该团队训练了一个系统，使用类似于ChatGPT的变换模型，可以将一个人的脑活动转换为连续文本。语义解码器成功生成文本，无论个人是在听故事、考虑讲述故事，还是观看无声的故事视频。然而，也存在一些限制。训练这个脑解码器要求参与者在fMRI扫描仪中保持静止约16小时，同时听播客——对于大多数人来说，这是一个不切实际的任务，对于任何在理解口语上有困难的人来说，可能是不可行的。此外，原始解码器仅适用于其特定训练的个人。
通过最新的进展，该团队完善了一种调整先前脑解码器以适应新用户的方法，只需要在fMRI设置下观看简短、无声的视频（如皮克斯短片）进行一个小时的训练。他们开发了一种转换算法，学习将新个人的脑活动与之前用于训练脑解码器的数据相协调，从而以更快的速度实现类似的结果。
哈斯表示，这项研究揭示了脑功能的一个重要见解：我们的思想超越语言。
“这突显了当你听到一个故事时触发的脑活动与观看一个讲述故事的视频时触发的活动之间的重要联系，”哈斯说道，他是计算机科学和神经科学的副教授，也是首席研究员。“我们的脑部以类似的方式感知这两种讲故事的形式。这也表明，我们解码的不是单纯的语言，而是超越语言的表征，不依赖于输入的类型。”
与他们原始的脑解码器一样，这个增强版本依赖于愿意参与训练的合作参与者。如果受试者在训练中抵制——例如，思考无关的想法——结果将变得无法使用，从而限制潜在的误用。
尽管他们最近的参与者在神经上没有问题，研究人员进行了模拟失语症患者脑损伤的分析，证明解码器仍成功将他们经历的故事转录为连续文本。这表明，该方法最终可能适用于失语症患者。
他们目前正在与德克萨斯大学德尔医学院和穆迪通信学院的副教授玛雅·亨利合作，亨利专注于失语症的研究，以评估他们增强的脑解码器在该疾病患者中的有效性。
“考虑如何创建最有效的界面并简化模型训练过程对参与者来说是令人愉快和充实的，”唐提到。“我真的很期待继续探讨我们的解码器如何能够为人们提供帮助。”
这项研究得到了国家卫生研究院听力和其他交流障碍研究所、怀特霍尔基金会、阿尔弗雷德·P·斯隆基金会和布朗威尔康基金的支持。
