研究人员创建了一种完全集成的光子处理器，能够利用光执行深度神经网络所需的所有基本计算，展示了在激烈的深度学习任务（如激光雷达应用、天文学研究和导航系统）中提高速度和能量效率的潜力。
深度神经网络模型为当今先进的机器学习应用提供动力，已经变得非常庞大和复杂，超出了传统电子计算硬件的能力。
光子硬件利用光进行机器学习计算，提供了更快和更节能的选择。然而，某些神经网络操作仍然需要离芯片电子产品或其他方法，这可能会减慢过程并降低效率。
在十年的研究基础上，麻省理工学院及其他机构的科学家们创造了一种新的光子芯片，消除了这些限制。他们展示了一种能够在芯片上光学执行深度神经网络所有重要计算的完全集成光子处理器。
该光学设备能够在不到半纳秒的时间内完成机器学习分类任务所需的计算，并达到超过92%的准确性，性能与传统硬件解决方案相当。
该芯片由互连模块组成，集体形成一个光学神经网络，并采用标准商业铸造技术生产，可能使该技术能够扩展并与电子系统集成。
展望未来，这种光子处理器可能为计算密集型任务（如激光雷达、天文学和粒子物理学等科学研究，或快速电信）提供更快和更节能的深度学习解决方案。
“这不仅仅关乎模型性能，获得结果的速度在许多情况下是至关重要的。既然我们拥有一种能够在纳秒时间尺度上使用光学运行神经网络的完整系统，我们可以开始考虑更高级的应用和算法，” Saumil Bandyopadhyay ’17, MEng ’18, PhD ’23 说道，他是电子研究实验室（RLE）量子光子学和人工智能小组的访问科学家，也是该新芯片发布论文的主要作者。
Bandyopadhyay与Alexander Sludds ’18, MEng ’19, PhD ’23，Nicholas Harris PhD ’17和Darius Bunandar PhD ’19合作；Stefan Krastanov，前RLE研究科学家，现任马萨诸塞大学阿默斯特分校助理教授；Ryan Hamerly，RLE访问科学家及日本电报电话公司研究所高级科学家；Matthew Streshinsky，之前是诺基亚硅光子学负责人，现在是Enosemi的联合创始人和首席执行官；Periplous, LLC总裁Michael Hochberg；以及高级作者Dirk Englund，一名电气工程与计算机科学系教授及RLE的主要研究人员。他们的研究成果今天发表在《自然光子学》上。
利用光进行机器学习
深度神经网络由多个相互连接的节点或神经元组成，处理输入数据以生成输出。在这些网络中，一个关键功能涉及线性代数以执行矩阵乘法，随着数据在层之间传输，重塑数据。
除了这些线性过程外，深度神经网络还执行非线性操作，帮助它们理解复杂的模式。非线性函数（如激活函数）使深度神经网络能够有效应对困难的问题。
在2017年，Englund的团队与Marin Soljačić实验室的研究人员展示了一种单一光子芯片上的光学神经网络，能够利用光进行矩阵乘法。
然而，在那个阶段，该设备缺乏在芯片上直接执行非线性操作的能力，必须将光学数据转换为电信号，以便由数字处理器进行处理。
“光学非线性面临重大挑战，因为光子不容易相互作用。这使得激发光学非线性变得耗能，复杂化了可扩展系统的开发，” Bandyopadhyay指出。
团队通过开发称为非线性光学功能单元（NOFUs）的设备解决了这个障碍，该设备结合了电子学和光学，以在芯片上实施非线性操作。
研究人员在一个光子芯片上构建了一个光学深度神经网络，该芯片具有三层设备，设计用于线性和非线性操作。
集成网络
该系统首先将深度神经网络参数编码为光。一系列可编程分束器（在2017年的研究中之前展示）对这些输入进行矩阵乘法。
生成的数据然后移动到可编程NOFUs，通过将少量光转向光电二极管，将光信号转换为电流，从而实现非线性函数。值得注意的是，这一过程消除了对外部放大器的需求，并且需要的能量极其少。
“在整个过程中我们保持在光学域中，只有在读取输出时才转换到电气域。这使我们能够实现极低的延迟，” Bandyopadhyay表示。
如此低的延迟使得在芯片上有效训练深度神经网络成为可能，这种方法称为原位训练，而通常使用数字硬件进行时需要大量能量。
“这对于实时处理光信号的系统，如导航或电信特别有利，”他补充道。
光子系统在训练测试中达到了超过96%的准确率，在推理时达到了超过92%的准确率，类似于传统硬件性能。此外，芯片在不到半纳秒的时间内执行了关键计算。
“这项研究表明，计算——实质上是将输入转换为输出——可以适应于新的线性和非线性物理框架，从而使计算中的扩展法则与所需的努力截然不同，”Englund解释道。
整个电路是使用类似于CMOS计算机芯片生产的基础设施和铸造工艺制造的。这表明该芯片有潜力使用可靠的技术进行大规模生产，并且产生的制造误差极少。
Bandyopadhyay强调，未来的工作将专注于扩展设备并将其与实际电子设备整合，例如摄像头和电信系统。此外，研究人员希望探索能够利用光处理的优势来提高训练速度和能效的算法。
该研究得到了国家科学基金会、美国空军科学研究办公室和NTT研究所的资助。
