听听一首旧的、心爱的歌曲的前几个音符。你能说出那首曲子吗？如果可以，恭喜你——这是你联想记忆的胜利，其中一条信息（前几个音符）触发了整个模式（这首歌）的记忆，而你并不真的需要再次听到其余的歌曲。我们利用这一神经机制来学习、记忆、解决问题并一般性地导航我们的现实。
“这是一种网络效应，”加州大学圣巴巴拉分校的机械工程教授弗朗西斯科·布洛说，他解释说联想记忆并不是存储在单个神经元中的。“记忆存储和提取是发生在整个神经元网络上的动态过程。”
1982年，物理学家约翰·霍普菲尔德将这一理论神经科学概念翻译成了人工智能领域，提出了霍普菲尔德网络。通过这样做，他不仅为理解人脑中的记忆存储和提取提供了数学框架，还开发了第一个递归人工神经网络之一——霍普菲尔德网络——以其从噪声或不完整输入中检索完整模式的能力而闻名。霍普菲尔德因其研究于2024年获得诺贝尔奖。
然而，根据布洛及其合作伙伴西蒙·贝特提、贾科莫·巴乔和桑德罗·赞皮耶里在意大利帕多瓦大学的研究，传统的霍普菲尔德网络模型强大，但并没有充分讲述新信息如何引导记忆提取的完整故事。“值得注意的是，”他们在发表在《科学进展》杂志的论文中表示，“外部输入的作用在很大程度上尚未被探索，从它们对神经动态的影响到它们如何促进有效的记忆提取。”研究人员建议了一种记忆提取模型，他们表示这种模型更能够描述我们如何体验记忆。
“现代的机器学习系统，这些大型语言模型——它们并不真正模拟记忆，”布洛解释说。“你输入一个提示，你得到一个输出。但这并不是我们在动物世界中理解和处理记忆的方式。”虽然LLM可以返回听起来智力十足的回复，依赖于它们所接受的语言模式，但它们仍然缺乏动物所拥有的物理现实世界的基本推理和经验。
“我们体验世界的方式是更连续、较少启动和重置的，”论文的主要作者贝特提说。他补充道，大多数对霍普菲尔德模型的处理往往将大脑视为计算机，带着非常机械的视角。“相反，因为我们正在研究一个记忆模型，我们希望从人的角度出发。”
激励理论家的主要问题是：当我们体验周围的世界时，我们所接收到的信号如何使我们能够提取记忆？
如霍普菲尔德所设想的，从能量景观的角度构思记忆提取是有帮助的，其中的山谷是表示记忆的能量最小值。记忆提取就像是在探索这种景观；识别就是当你掉进某个山谷时。你在景观中的起始位置就是你的初始条件。
“想象一下你看到一只猫的尾巴，”布洛说道。“不是整只猫，而只是尾巴。一个联想记忆系统应该能够恢复整只猫的记忆。”根据传统的霍普菲尔德模型，猫的尾巴（刺激）足以让你接近标记为“猫”的山谷，他解释说，将刺激视为初始条件。但你第一步是怎么到达那个位置的呢？
“经典的霍普菲尔德模型并没有仔细解释看到猫的尾巴如何使你处于适合下坡并达到能量最低点的正确位置，”布洛说。“你如何在存储这些记忆的神经活动空间中移动？这有点不清楚。”
研究人员的输入驱动可塑性（IDP）模型旨在通过一种逐渐整合过去和新信息的机制，来解决这一缺乏清晰度的问题，引导记忆提取过程至正确的记忆。研究人员描述了一种动态的、输入驱动的机制，而不是在原始霍普菲尔德网络模型的相对静态能量景观上应用两步算法记忆提取。
“我们提出的观点是，随着来自外部世界的刺激的接受（例如，猫尾巴的图像），它同时改变了能量景观，”布洛说。“刺激简化了能量景观，使得无论你的位置如何，你都将滚落到猫的正确记忆中。”此外，研究人员表示，IDP模型对噪声具有鲁棒性——在输入模糊、模棱两可或部分被遮挡的情况下——并且实际上利用噪声作为过滤出不太稳定的记忆（该能量景观的较浅山谷）的手段，来偏向于更稳定的记忆。
“我们从你注视一个场景的事实开始，你的视线在场景的不同组成部分之间移动，”贝特提说。“所以在每一时刻你选择你想要专注的内容，但你周围有很多噪声。”一旦你锁定了要专注的输入，网络就会调整自己以优先考虑它，他解释说。
选择聚焦的刺激，即注意力，也是另一种神经网络架构——变换器背后的主要机制，变换器已经成为大型语言模型（如ChatGPT）的核心。虽然研究人员提出的IDP模型“从一个非常不同的初始点和不同的目标开始，”布洛说，但这个模型在设计未来的机器学习系统中，有很大的潜力。
“我们看到两者之间存在联系，论文对此进行了描述，”布洛说。“这不是论文的主要焦点，但有一种美好的希望，这些联想记忆系统和大型语言模型可能会达成一致。”
