创新方法预测环保人工智能模型的计算和能源费用

“之前的研究主要集中在提高深度学习模型训练的效率，”相关研究的主要作者、北卡罗来纳州立大学计算机科学助理教授金正恩（Jung-Eun Kim）解释道。“然而，在模型的生命周期中，它可能需要多次更新。正如我们的研究结果所示，更新现有模型通常比重新开始更具成本效益。”

“为了解决与深度学习人工智能相关的可持续性挑战，我们需要审查整个模型生命周期的计算和能源支出，这包括更新的影响。没有办法提前预测这些成本，有效规划可持续性工作变得不可能。因此，我们的研究具有特别的重要性。”

训练一个深度学习模型需要大量计算努力，用户更倾向于尽可能长时间避免更新。然而，有两种情况可能需要进行这些更新。首先，人工智能的任务可能需要改变。例如，原本旨在分类数字和交通标志的模型，现在可能还需要识别车辆和行人。这种情况称为任务转移。

其次，输入数据可能随着时间而演变。这可能意味着整合一种新类型的数据或修改现有数据的格式。在这两种情况下，都需要对人工智能进行更新以应对这些变化，这称为分布迁移。

“无论是什么促使更新的需要，人工智能开发者能够对这些更新的计算需求有一个现实的估计都是非常有益的，”金指出。“这条信息帮助他们做出明智的选择，决定何时进行更新以及如何相应分配计算资源。”

为了估算即将到来的计算和能源成本，研究人员引入了一种新工具，名为REpresentation Shift QUantifying Estimator (RESQUE)。

本质上，RESQUE使用户能够将用于训练深度学习模型的原始数据集与用于更新模型的新数据集进行比较。这项分析提供了更新过程中涉及的计算和能源支出的估算。

结果成本以统一的指标值显示，随后可以通过五个不同的指标进行检查：纪元、参数变化、梯度范数、碳排放和能量消耗。纪元、参数变化和梯度范数指标作为重新训练模型所需计算努力的指标。

“此外，为了在更广泛的可持续性框架中澄清这些数字的含义，我们还告知用户重新训练模型所需的能量（以千瓦时为单位），”金补充道。“此外，我们还估算了为生成该能量而产生的碳排放（以千克为单位）。”

团队进行了严格的实验，利用各种数据集、众多分布迁移和不同的任务调整来确认RESQUE的有效性。

“我们的研究结果表明，RESQUE的预测与更新深度学习模型相关的实际成本非常接近，”金表示。“此外，我们始终发现，从头开始启动一个新模型所需要的计算能力和能源显著高于仅仅重新训练一个现有模型。”

在短期内，RESQUE作为一个有益的工具，适用于任何进行深度学习模型更新的人。

“RESQUE帮助用户为更新预算计算资源，并预测更新的预期持续时间，”金详细说明。

“在更大范围内，这项研究提供了关于深度学习模型在其生命周期中所涉及的成本的重要见解，这能够促进关于其可持续性和实际应用的明智决策。如果我们希望人工智能保持功能和有效性，这些模型必须同时具备适应性和可持续性。”