神经网络是人工智能可以基于的一种典型结构。术语“神经”描述了它们的学习能力,这在某种程度上模拟了我们大脑中神经元的功能。要能够正常工作,需要几个关键成分:其中之一是激活函数,它为结构引入非线性。光子激活函数在基于光传播的光学神经网络实现中具有重要优势。现在,来自马克斯·普朗克光科学研究所(MPL)和汉诺威大学(LUH)斯蒂勒研究小组的研究人员与麻省理工学院的德克·恩格伦合作,实验性地展示了一种基于传播声波的全光控制激活函数。这种激活函数适用于广泛的光学神经网络方法,并允许在所谓的合成频率维度中操作。
人工智能(AI)被广泛应用,并旨在增强人类技能,如数据分析、文本生成和图像识别。在许多领域,其性能超过了人类,例如在速度方面。手动完成的任务需要花费数小时,但在AI的帮助下可以在几秒钟内完成。
AI可以基于受大脑启发的人工神经网络。与人脑中的神经元类似,神经网络的节点在非常复杂的结构中相互连接。目前,它们通常通过数字连接实现。最近训练大规模语言模型等人工智能的经验已清楚表明,其能耗巨大,并将在未来几年中呈指数增长。因此,科学家们正在积极研究解决方案,考虑不同的物理系统,这些系统可以支持或部分替代某些任务的电子系统。这些网络可以基于光学材料、分子结构、DNA链,甚至是蘑菇结构的开发。
光学和光子技术相较于传统电子系统有许多优势。光学和光子技术具有高带宽和在高维符号中编码信息的优势——这两点都是加速通信系统的原因。光子系统已经相当先进,通常允许并行处理并连接到诸如基于光纤的全球互联网等现有系统。在放大时,光子技术也有望降低复杂问题的能耗。现在,各大研究小组正在利用这些资源和知识,以多种方式实现光学神经网络。然而,许多关键挑战必须得到解决,例如光子硬件的放大和神经网络的可重构性。
研究人员在斯蒂勒实验室专注于光声学,特别是通过声波介导的光学神经网络的挑战。为了放大光学神经网络,他们现在开发了一种可以全光控制的激活函数。信息无需从光学域转换回电子域。这一发展是光子计算的重要一步,这是一种物理模拟计算的替代方案,有望在长期内实现能源高效的人工智能。神经网络的简单形式由传入信息的加权和和非线性激活函数组成。非线性激活函数对于深度学习模型学习解决复杂任务至关重要。在光学神经网络中,这些部分理想地在光子域中实现。对于加权和——一个矩阵运算符——已经存在多种光子方法。而对于非线性激活函数,迄今为止实验上展示的方案很少。
“创建更节能光学神经网络的长期前景取决于我们是否能够放大物理计算系统,这一过程可能会通过光子激活函数来促进。” 斯蒂勒研究小组的负责人比尔吉特·斯蒂勒表示。
光子非线性激活函数是电子神经网络中使用的非线性激活函数的光学等效,但采用光子设备而非电子设备实现。它为光子计算系统引入非线性,支持全光神经网络和光学机器学习加速器。激活函数的例子包括ReLU、sigmoid或tanh函数,它们可以将输入的加权和转换为人工神经网络。
斯蒂勒研究小组的科学家与麻省理工学院的德克·恩格伦合作,现在已证明声波可以作为有效光子激活函数的媒介。光学信息无需离开光学域,直接在光纤或光子波导中处理。通过受激布里渊散射效应,光学输入信息会根据光强的水平进行非线性变化。
“我们的光子激活函数可以多样调节:我们展示了sigmoid、ReLU和二次函数的实现,概念也允许在特定任务需要时按需提供更奇特的函数,”两位首席作者之一的格里戈里·斯林科夫说。另一位首席作者史蒂文·贝克补充说:“受激布里渊散射中的严格相位匹配规则带来了一个有趣的优势:不同的光学频率——用于并行计算——可以单独处理,这可能增强神经网络的计算性能。”
在光学神经网络中包含光子激活函数可以保留光学数据的带宽,避免电光转换并保持信号的相干性。通过声波帮助的非线性激活函数的多样控制,使得该方案能够在现有光纤系统以及光子芯片中实施。