我们需要先学习字母,然后才能学会阅读;先学习数字,然后才能学会加法和减法。纽约大学的一个科学团队通过实验室实验和计算建模证明了这一原则在人工智能中的同样适用。
在他们的研究中,发表在《自然机器智能》期刊上的研究人员发现,当递归神经网络(RNNs)首先在简单的认知任务上训练时,它们在后续处理更困难和复杂的任务时会更有能力。
论文的作者将这种训练方式称为幼儿园课程学习,因为它首先强调理解基本任务,然后将这些任务的知识结合起来,完成更具挑战性的任务。
“从生命的早期阶段开始,我们就会发展一系列基本技能,比如保持平衡或玩球,”纽约大学神经科学中心和数据科学中心的副教授克里斯蒂娜·萨文解释说。“随着经验的积累,这些基本技能可以结合起来支持复杂行为——例如,在骑自行车时同时抛接多个球。”
“我们的工作采纳了这些相同的原则来增强RNNs的能力,它们首先学习一系列简单任务,存储这些知识,然后将所学任务的组合应用于成功完成更复杂的任务。”
RNNs——旨在根据存储的知识处理序列信息的神经网络——在语音识别和语言翻译中尤其有用。然而,在复杂的认知任务中,使用现有方法训练RNNs可能会很困难,无法捕捉到人工智能系统旨在复制的动物和人类行为的关键方面。
为了解决这个问题,研究的作者——包括纽约大学数据科学中心的博士后研究员大卫·霍克和教授克里斯蒂娜·康斯坦丁诺普尔——首先与实验室大鼠进行了系列实验。
这些动物被训练去寻找一个在多个隔间口的箱子里的水源。然而,为了知道何时何地会有水可用,大鼠需要学习水的输送与特定声音和口灯的照明有关,并且水并不会在这些提示后立即送达。因此,动物需要发展对多个现象的基本知识(例如,声音在水的配送前,视觉和听觉提示后等待再尝试获取水),然后学习将这些简单任务结合起来以完成目标(取水)。
这些结果揭示了动物在进行更复杂任务时应用简单任务知识的原则。
科学家们利用这些发现以类似的方式训练RNNs——但不同于取水,这些RNNs管理一个投注任务,该任务要求这些网络在基本决策的基础上进行构建,以最大化回报。然后,他们将这种幼儿园课程学习方法与现有的RNN训练方法进行了比较。
总体而言,团队的结果表明,基于幼儿园模型训练的RNNs学习速度比基于当前方法训练的RNNs更快。
“人工智能代理首先需要经历幼儿园,才能在之后更好地学习复杂任务,”萨文观察道。“总体而言,这些结果指向改善人工智能系统学习的方法,并呼吁发展对过去经验如何影响新技能学习的更全面理解。”
这项研究得到了美国国立心理健康研究所(1R01MH125571-01,1K01MH132043-01A1)的资助,并利用帝国人工智能联盟的研究计算资源进行,得到了纽约州、西蒙斯基金会和塞昆达家庭基金会的支持。