基于大脑功能开发的“观察”视频的创新人工智能

这一以大脑为主题的 AI 模型在 2024 年 11 月 19 日发表在《美国国家科学院院刊》的研究中进行了阐述，能够通过模仿神经元（或脑细胞）实时理解周围环境的过程来分析动态场景。虽然传统的 AI 系统擅长识别静态图像，但 MovieNet 开辟了机器学习模型理解复杂且变化的场景的道路。这一重大进展有潜力彻底改变从医学诊断到自动驾驶汽车等各个领域，因为在这些领域，检测微小变化的能力至关重要。此外，MovieNet 在精确度和环保方面也优于标准 AI 模型。

“人脑体验的不仅仅是静态图像；它构建了一个连续的视觉故事，”高级作者霍利斯·克莱因博士，斯克里普斯研究所多里斯神经科学中心主任及神经科学汉教授解释道。“虽然静态图像识别已经取得了显著进展，但大脑处理动态场景的能力——就像观看电影一样——需要更高级别的模式识别。我们对神经元如何感知这些序列的研究使我们能够在 AI 中实施类似的概念。”

为了开发 MovieNet，克莱因与首席作者、斯克里普斯研究所的工作人员雅马西·平本研究了大脑如何在短序列中感知现实世界的事件，类似于电影片段。他们关注蝌蚪神经元对不同视觉刺激的反应方式。

“蝌蚪拥有令人印象深刻的视觉系统，我们知道它们能够有效地识别并对移动刺激作出反应，”平本指出。

研究人员定位了对电影般特征作出反应的神经元，例如光线变化和图像运动，使得能够在物体变化时进行识别。位于大脑视觉处理区域的顶盖中，这些神经元将动态图像的片段拼接成逻辑序列。

这一机制可以比作一副透镜拼图：虽然单个拼图可能传递的信息有限，但当组装在一起时，它们创建出一个完整的动态图像。不同的神经元处理实时图像的不同“拼图块”，然后大脑将其编织成一个无缝的场景。

研究人员发现，蝌蚪的顶盖神经元能够识别视觉输入随时间的微妙变化，捕捉持续 100 到 600 毫秒的动态片段中的细节，而不仅仅是静态图像。这些神经元对光和暗的模式非常敏感，每个神经元对特定视觉元素的反应有助于在场景中绘制出复杂的地图，形成可以被认为是“电影剪辑”的东西。

克莱因和平本训练 MovieNet 模仿这种类脑处理，将视频剪辑编码为一系列小的、可识别的视觉信号。这一能力使得 AI 模型能够识别动态场景中的微妙差异。

在测试 MovieNet 时，研究人员向其呈现了在不同条件下游动的蝌蚪剪辑。MovieNet 在区分正常和异常游泳模式时达到了 82.3% 的准确率，超越了经过训练的人类观察者约 18%。它还超越了现有的 AI 模型，如谷歌的 GoogLeNet，后者尽管经过广泛的训练和资源，只达到了 72% 的准确率。

“这就是我们注意到一个重大机会的地方，”克莱因强调。

研究小组确定，MovieNet 不仅在理解动态场景方面超越了当前的 AI 模型，而且需要更少的数据和处理时间。MovieNet 在不妥协准确性的情况下压缩信息的能力使其与传统 AI 系统有别。通过将视觉数据拆解成基本序列，MovieNet 有效地压缩信息，类似于一个能够保留关键元素的压缩文件。

除了其令人印象深刻的准确性外，MovieNet 还是一种环保的 AI 模型。传统的 AI 处理通常需要大量能量，产生较大的环境影响。相比之下，MovieNet 降低的数据要求提供了一个更可持续的选择，可以节省能源，同时保持高性能。

“通过模拟大脑的功能，我们显著降低了 AI 的需求，使得开发不仅强大而且可持续的模型成为可能，”克莱因表示。“这种效率还为在传统技术过于昂贵的领域扩展 AI 开辟了新途径。”

MovieNet 还具有创新医疗实践的潜力。随着技术的发展，它可以帮助检测早期状态下微妙的变化，例如识别不规律的心跳或帕金森等神经退行性疾病的初始症状。例如，帕金森相关的细微运动变化往往过于微小而无法被人类检测，但 AI 可以早期识别，给予医疗提供者关键的反应时间。

此外，MovieNet 观察到蝌蚪在化学暴露期间游泳行为的变化的能力可能增强药物测试方法，使科学家能够分析动态细胞反应，而不仅仅依赖静态图像。

“当前的方法往往忽略重要变化，因为它们只能检查间隔拍摄的图像，”平本指出。“通过实时监控细胞，MovieNet 可以在药物评估过程中追踪最微妙的变化。”

展望未来，克莱因和平本计划继续提高 MovieNet 的适应能力，拓宽其多功能性和潜在应用案例。

“从生物学中汲取灵感将保持为 AI 进步的一个富有成效的领域，”克莱因指出。“通过塑造模型以像生物体一样思考，我们可以实现传统方法无法达到的效率。”

本研究针对“识别电影编码神经元使电影识别 AI 成为可能”的研究得到了国家卫生研究院（RO1EY011261、RO1EY027437 和 RO1EY031597）、汉家族基金会和哈罗德·L·多里斯神经科学中心捐赠基金的支持。