人工智能技术，如ChatGPT，是基于人工神经网络构建的，这些网络在一定程度上模仿了人脑中神经细胞的功能。这些网络是在强大的计算机上使用庞大的数据集进行训练的，消耗了大量的能源。一种有前景的降低能源消耗的替代方案是使用脉冲神经元，这种神经元的能效显著更高。传统上，训练脉冲神经元的方法面临显著限制。然而，波恩大学最近的一项研究引入了一种可能的新方法，可能会导致能效更高的人工智能技术。研究成果已发布在《物理评论快报》上。
像ChatGPT这样的人工智能技术依赖于人工神经网络，这些网络与人脑中神经细胞的功能非常相似。这些系统在高性能计算系统上使用广泛的数据集进行训练，导致高能耗。一种可行的解决方案可能是实施脉冲神经元，这种神经元所需的能量显著较少。但是，脉冲神经元的训练方法历史上一直有限。波恩大学的一项新研究提出了一种新颖的方法，这可能有助于开发更节能的人工智能模型。该研究的结果已发布在《物理评论快报》上。
人脑是一种非凡的结构。它的能耗相当于三个LED灯泡，同时重量低于一台笔记本电脑，但具备创作音乐、制定量子力学等复杂理论，以及思考深刻主题的能力。
尽管像ChatGPT这样的人工智能应用具有显著的能力，但在处理复杂任务时消耗了大量能源。类似于人脑，它们在由数十亿个“神经细胞”组成的神经网络上运作，这些神经细胞共享信息。传统的人工神经元持续运行，类似于电流不断流过的围栏。
“生物神经元的操作方式不同，”波恩大学遗传学研究所的Raoul-Martin Memmesheimer教授说。“它们通过称为动作电位或脉冲的短暂电压冲动进行交流。”由于这些脉冲不频繁，因此这些网络所需的能量相对较少。因此，开发模仿这种脉冲行为的人工神经网络成为人工智能研究的一个重要焦点。
脉冲网络 – 高效但训练困难
为了使神经网络执行特定任务，必须进行训练。例如，如果你想让人工智能区分椅子和桌子，你需要向它展示家具的图片，以观察它是否能够正确识别。根据其表现，神经网络中的连接会进行调整——一些得到强化，另一些被削弱——从而在连续的训练过程中提高准确性。
每次训练后，都会进行调整以确定哪些神经元对其他神经元有影响，以及影响的程度。“在传统神经网络中，输出信号的变化是逐渐的，”Memmesheimer解释道，他也是生命与健康跨学科研究领域的成员。“例如，一个信号可能从0.9降低到0.8。然而，在脉冲神经元中则不同：脉冲要么存在，要么缺失。没有部分脉冲。”
在典型的神经网络中，每个连接都有一个旋钮，可以对来自一个神经元的输出信号进行微调。这些旋钮经过优化，以确保网络能够准确区分椅子和桌子。相反，脉冲网络缺乏逐渐调整信号强度的能力。“这使得微调连接权重变得困难，”Memmesheimer的同事、研究的第一作者Christian Klos博士强调。
之前认为，标准训练技术（称为“梯度下降学习”）将对脉冲网络构成重大挑战。然而，最近的研究表明情况并非如此。“我们发现，在某些基本神经元模型中，脉冲不会随机消失或出现。它们只能在时间上提前或推迟，”Klos解释道。这些脉冲的时机实际上可以通过连接的强度进行连续调整。
调整脉冲网络中的连接强度
脉冲的不同时序模式影响目标神经元的反应。本质上，生物或脉冲神经元从多个其他神经元接收输入的“同时性”越高，就越有可能生成自己的脉冲。因此，一个神经元对另一个神经元的影响可以通过连接的强度和脉冲的时机进行调整。“我们可以应用相同的有效训练方法到我们研究的两种脉冲神经网络上，”Klos补充道。
研究人员已经证明他们的方法是切实可行的，成功教会一个脉冲神经网络准确区分手写数字。接下来的挑战是培训该网络理解语音，正如Memmesheimer所提到的：“虽然我们不确定我们的办法在将来如何用于训练脉冲网络，但我们对其潜力持乐观态度，因为它精准且与传统神经网络的有效训练方法非常相似。”
资金：
该研究得到了德国联邦教育与研究部（BMBF）通过2014年伯恩斯坦奖的资金支持。
