大型语言模型(LLMs)完全可以通过人类提示进行管理,并且不表现出“突现能力”,这意味着它们无法自行得出结论或见解。仅仅增加这些模型的规模并不会赋予它们新的推理技能,这意味着它们不会发展出危险能力,并且并不构成生存风险。最近的一项研究澄清了LLMs的能力和局限性,强调了为了实现最佳性能所需的结构良好的提示。
根据巴斯大学和德国达姆施塔特工业大学的新研究,ChatGPT和其他大型语言模型(LLMs)无法独立学习或获得新技能,表明它们对人类不构成生存威胁。
这项研究今天在第62届计算语言学协会年会上发布——这一全球领先的自然语言处理会议——揭示了尽管LLMs可以表面上遵循指令并展现语言能力,但它们需要明确的指令才能发展新技能。因此,它们本质上是可管理的、可预测的和安全的。
这意味着它们从根本上是可管理的、可预测的和安全的。
研究团队得出结论,尽管LLMs在更大数据集上进行训练,但可以在没有安全担忧的情况下使用。然而,这项技术仍然可能被误用。
随着这些模型的发展,它们预计将生成更复杂的语言,并在遵循详细提示方面有所改善,但它们不太可能获得先进的推理能力。
巴斯大学的计算机科学家哈里什·塔亚·马达布希博士表示:“主流叙述认为这种类型的人工智能对人类构成威胁,妨碍了这些技术的广泛采用和发展,并分散了我们对真正问题的关注。”
研究团队由德国达姆施塔特工业大学的伊里娜·古列维奇教授领导,进行实验评估LLMs在从未遇到过的任务中的能力——这被称为突现能力。
例如,LLMs可以在没有明确训练的情况下回答有关社会情境的询问。虽然早期研究表明这可能源于模型对社会背景的“了解”,但研究人员表明,这实际上源于LLMs通过提供的示例执行任务的能力,这一过程被称为“上下文学习”(ICL)。
通过大量实验,研究团队表明,LLMs的指令遵循能力(ICL)、记忆和语言技能的结合既构成了其优势,也体现了其弱点。
塔亚·马达布希博士表示:“人们担心,随着模型规模的扩大,它们可能会解决意想不到的问题,从而引发对这些更大模型可能发展出推理和规划等危险技能的恐惧。”
“这引发了广泛的讨论——例如,在去年的布莱切利公园人工智能安全峰会上,我们被邀请提供意见——但我们的研究表明,对于模型进行完全意外的、创新的或潜在有害的行为的恐惧是不切实际的。”
“对LLMs可能带来的生存威胁的担忧不仅限于新手;甚至一些全球领先的人工智能研究者也表达了这些担忧。”
然而,塔亚·马达布希博士认为,这种担忧是没有根据的,因为他们的实验清楚地揭示了LLMs缺乏突现复杂推理能力。
“虽然解决现有的人工智能误用风险,如生成假新闻和增加欺诈风险,是至关重要的,但对感知到的生存威胁采取行动是为时已晚的,”他表示。
“这对用户意味着,期待LLMs理解和完成需要复杂推理的复杂任务,而没有明确的指导,很可能导致错误。相反,用户将从清晰表达需求并在可行时提供示例中受益,尤其是对于任何超出简单任务的情况。”
古列维奇教授补充道:“……我们的发现并不意味着人工智能完全没有威胁。相反,我们证明了与特定威胁相关的复杂推理技能的所谓突现没有证据支持,我们可以有效地管理LLMs的学习过程。因此,未来的研究应集中于这些模型可能带来的其他风险,例如其可能被误用于生成虚假信息。”