一项新的研究质疑了长期以来的观点，即视觉系统分为两条通路，一条用于物体识别，另一条用于空间任务。研究人员利用计算视觉模型发现，腹侧视觉通路可能并非完全优化用于物体识别。
当视觉信息进入大脑时，它通过两条处理输入不同方面的通路进行传输。几十年来，科学家们假设其中一条通路，腹侧视觉通路，负责识别物体，并且可能在进化中为了达到这一目的进行了优化。
与此一致，在过去十年中，麻省理工学院的科学家发现，当腹侧通路的解剖结构的计算模型通过优化来解决物体识别任务时，它们可以非常好地预测腹侧通路的神经活动。
然而，在一项新研究中，麻省理工学院的研究人员显示，当他们将这些类型的模型用于空间任务时，结果模型同样能够很好地预测腹侧通路的神经活动。这表明，腹侧通路可能并非完全优化用于物体识别。
“这留下了一个很大的问题，即腹侧通路究竟是为什么而优化。我认为，我们这个领域很多人持有的主导观点是腹侧通路是为物体识别而优化的，但这项研究提供了新的视角，认为腹侧通路也可能为空间任务而优化，”麻省理工学院研究生谢宇迪说。
谢宇迪是这项研究的主要作者，该研究将在国际学习表征会议上发布。论文的其他作者包括通过麻省理工学院研究暑期研究所项目的访问学生黄伟晨；麻省理工学院智能研究中心的软件工程师埃斯特·阿尔特；赞助研究技术工作人员杰里米·施瓦茨；大脑与认知科学教授约书亚·特农鲍姆；以及大脑与认知科学彼得·德弗洛雷斯教授，智能研究中心主任，以及麻省理工学院麦戈文大脑研究所成员詹姆斯·迪卡洛。
超越物体识别
当我们观察一个物体时，我们的视觉系统不仅能识别该物体，还能确定其他特征，例如其位置、距离和空间方向。自20世纪80年代初以来，神经科学家假设灵长类动物视觉系统分为两条通路：腹侧通路负责执行物体识别任务，背侧通路处理与空间位置相关的特征。
在过去十年中，研究人员致力于使用一种称为卷积神经网络（CNN）的深度学习模型来对腹侧通路进行建模。研究人员可以通过提供包含成千上万张图像及其描述的类别标签的数据集来训练这些模型以执行物体识别任务。
这些CNN的最先进版本在对图像进行分类时成功率很高。此外，研究人员发现，这些模型的内部激活与处理腹侧通路视觉信息的神经元的活动非常相似。此外，这些模型与腹侧通路越相似，其在物体识别任务上的表现就越好。这使得许多研究人员假设腹侧通路的主要功能是识别物体。
然而，实验研究，特别是2016年迪卡洛实验室的一项研究发现，腹侧通路似乎也编码空间特征。这些特征包括物体的大小、其方向（旋转程度）及其在视野中的位置。基于这些研究，麻省理工学院团队旨在调查腹侧通路是否可能在物体识别之外还具有其他功能。
“我们在这个项目中的核心问题是，我们能否将腹侧通路视为优化用于这些空间任务，而不仅仅是分类任务？”谢宇迪说。
为了验证这一假设，研究人员设置了一种训练CNN以识别物体的一个或多个空间特征，包括旋转、位置和距离。为了训练模型，他们创建了一个新的合成图像数据集。这些图像展示了如茶壶或计算器等物体，叠加在不同背景上，位置和方向被标记以帮助模型学习。
研究人员发现，仅对这些空间任务之一进行训练的CNN与腹侧通路表现出高度的“神经一致性”，与训练有素的物体识别的CNN模型非常相似。
研究人员使用迪卡洛实验室开发的一种技术来测量神经一致性，该技术涉及在模型训练完成后，要求模型预测特定图像在大脑中生成的神经活动。研究人员发现，模型在其训练的空间任务上表现越好，神经一致性就越高。
“我认为我们不能假设腹侧通路只是进行物体分类，因为许多其他功能，如空间任务，也会导致模型的神经一致性与其表现之间存在线性相关，”谢宇迪说。“我们的结论是，您可以通过分类或执行这些空间任务来进行优化，两者都根据我们当前评估神经一致性的标准产生类似腹侧通路的模型。”
模型比较
研究人员随后探讨这两种方法——针对物体识别的训练和针对空间特征的训练为何导致类似程度的神经一致性。为此，他们进行了一个称为中心核对齐（CKA）的分析，这使他们能够测量不同CNN之间表示的相似度。该分析显示，在模型的早期到中间层中，模型学习到的表示几乎无法区分。
“在这些早期层中，基本上您无法仅通过观察这些模型的表示来辨别它们，”谢宇迪说。“看来它们在早期到中间层学习到一些非常相似或统一的表示，而在后期阶段它们会分歧以支持不同的任务。”
研究人员假设，即使模型仅被训练来分析一个特征，它们也会考虑“非目标”特征——即它们未被训练的特征。当物体的非目标特征具有更大的变异性时，模型往往会学习到与被训练在其他任务的模型相似的表示。这表明，模型正在利用所能获得的所有信息，这可能导致不同模型得出相似的表示，研究人员表示。
“更多的非目标变异性实际上有助于模型学习更好的表示，而不是学习一个对它们无知的表示，”谢宇迪说。“尽管模型是针对一个目标进行训练的，但它们可能由于这些非目标特征的变异性而同时学习到其他东西。”
在未来的工作中，研究人员希望开发新的方法来比较不同的模型，以期更多地了解每个模型如何基于训练任务和训练数据的差异发展内部对象表示。
“这些模型之间可能仍然存在细微的差别，即使我们目前测量这些模型与大脑相似度的方式告诉我们它们处于非常相似的水平。这表明可能仍然需要改进我们可以将模型与大脑比较的方式，以便更好地理解腹侧通路究竟是为什么而优化的，”谢宇迪说。
这项研究得到了半导体研究公司和美国国防高级研究计划局的资助。
