首次研究揭示大脑将音调重音与构成单词的声音分开编码。赫希尔回旋区,早期听觉处理的一个阶段,发挥的作用比先前认为的要大得多。研究结果可能会改变语言治疗、基于人工智能的语音识别以及我们对人类沟通独特性的理解。
你可能听过这样一句话,“关键不在于你说什么,而在于你如何说”,而现在,科学证明了这一点。来自西北大学传播学院、匹兹堡大学和威斯康星大学麦迪逊分校的首个此类研究揭示了一个大脑区域,长期以来被认为与早期听觉处理有关,在解读语音方面的作用远超以往的理解。
这项多学科研究于3月3日星期一发表在《自然通讯》杂志上,发现赫希尔回旋区不仅处理声音——它将音调的细微变化,即韵律,转化为有意义的语言信息,引导人类在对话中理解强调、意图和重点。
多年来,科学家们相信韵律的所有方面主要在一个名为上颞回的脑区处理,该区以语音感知而著称。该研究的共同首席研究员、所罗克斯林和理查德·佩珀传播科学与障碍系的教授兼主任巴拉特·钱德拉塞卡兰表示,研究结果挑战了关于韵律在大脑中的处理方式、地点和速度的长期假设。
“结果重新定义了我们对语音感知架构的理解,”钱德拉塞卡兰说。“我们花了几十年研究语音在大脑中如何被抽象化的细微差别,但这是第一项研究探讨了如何处理同时传达意义的音高细微变化。”
罕见的研究参与者
钱德拉塞卡兰与匹兹堡大学医学院儿科神经外科主任泰勒·阿贝尔博士合作,研究11名正在接受重度癫痫神经外科治疗的青少年患者的听觉信息处理。他们的大脑皮层深处植入了电极,这对于关键语言功能至关重要。
“通常,传播与语言学研究依赖于来自皮肤表面的无创记录,这使得研究不太精确但很可及,”阿贝尔说。“像我们这样的神经外科医生-科学家与神经科学家的合作,使我们能够收集高质量的大脑活动记录,这在其他情况下是无法实现的,并以全新的方式了解大脑处理机制。”
为了探索大脑如何解读语音的旋律,研究人员利用这组罕见的患者群体,他们在癫痫治疗过程中植入了电极。在这些患者积极听《爱丽丝梦游仙境》的有声书时,科学家实时跟踪多个大脑区域的活动。
研究者发现了什么
利用来自患者大脑深处电极的颅内记录,研究人员注意到赫希尔回旋区处理了声音音高的细微变化——不仅仅是作为声音,而是作为有意义的语言单位。大脑将音调重音与构成单词的声音分开编码。
“我们的研究挑战了长期以来关于大脑如何以及在哪里捕捉到语音中自然旋律的假设——那些帮助传达意义和意图的细微音高变化,”威斯康星大学麦迪逊分校传播科学与障碍系的G. Nike Gnanataja说,研究的共同第一作者。“尽管这些音高模式每次说话时都不同,但我们的脑子会创造稳定的表示来理解它们。”
Gnanataja表示,这项研究还揭示了韵律轮廓所携带的隐含意义的层次——语音的起伏,在早期听觉处理中被编码得比以前认为的要早。
类似的研究也在非人类灵长类动物中进行,但研究人员发现那些大脑缺乏这种抽象,尽管处理相同的声学线索。
为什么这很重要
通过揭示语音的隐含层,钱德拉塞卡兰及其团队发现了大脑如何处理音调重音,揭示了对各个领域深远的影响。
“我们的发现可以改变语言康复、人工智能驱动的语音助手,以及我们对人类沟通独特性理解的方式,”他说。
理解早期的韵律处理可能会导致对语言和言语障碍的新干预,例如自闭症、中风患者的语言旋律障碍,以及基于语言的学习差异。
该研究还强调了语言经验在人类沟通中的独特作用,因为非人类灵长类动物缺乏将音调重音处理为抽象类别的能力。
此外,这些发现可能大大增强基于人工智能的语音识别系统,使其能够更好地处理韵律,使自然语言处理更接近模拟人类语音感知。
该研究标题为“连续语音中离散韵律模式的皮层处理。”该研究得到了国立卫生研究院NIH拨款5R01DC13315-11的支持,属于一个名为“皮层对频率追随反应生成和调制的贡献”的正在进行的研究项目,联合首席研究员为巴拉特·钱德拉塞卡兰、泰勒·阿贝尔、斯里瓦特苏·萨达戈潘和托比亚斯·泰希特。该研究还得到了国立卫生研究院NIH拨款R21DC019217-01A1的支持,申请人是泰勒·阿贝尔;以及威斯康星大学麦迪逊分校副校长研究与研究生教育、文理学院的资金支持,支持G. Nike Gnanateja。