人工智能模型常常依赖于“虚假相关性”，基于不重要且可能具有误导性的信息做出决策。研究人员现在发现，这些学习到的虚假相关性可以追溯到训练数据的一个非常小的子集，并展示了一种克服该问题的技术。
人工智能模型常常依赖于“虚假相关性”，基于不重要且可能具有误导性的信息做出决策。研究人员现在发现，这些学习到的虚假相关性可以追溯到训练数据的一个非常小的子集，并展示了一种克服该问题的技术。
“这项技术是新颖的，因为即使你不知道人工智能依赖于哪些虚假相关性，它也可以被使用，”北卡罗来纳州立大学计算机科学助理教授、该研究论文的通讯作者金正恩说。“如果你已经对虚假特征有了良好的理解，我们的技术是一种高效有效的解决方案。然而，即使你只是面临性能问题，但不知道为什么，你仍然可以使用我们的技术来确定是否存在虚假相关性，并解决该问题。”
虚假相关性通常是由于人工智能训练过程中的简单性偏见造成的。实践者使用数据集来训练人工智能模型以执行特定任务。例如，一个人工智能模型可以被训练来识别狗的照片。训练数据集将包含狗的照片，人工智能被告知照片中有一只狗。在训练过程中，人工智能将开始识别可以用来识别狗的特定特征。然而，如果照片中的许多狗都佩戴着项圈，并且因为项圈通常是狗相较于耳朵或毛发更简单的特征，人工智能可能会使用项圈作为识别狗的简单方法。这就是简单性偏见如何导致虚假相关性。
“如果人工智能将项圈作为识别狗的因素，人工智能可能会错误地将佩戴项圈的猫识别为狗，”金说。
传统的解决虚假相关性造成问题的技术依赖于实践者能够识别出导致问题的虚假特征。然后，他们可以通过修改用于训练人工智能模型的数据集来解决此问题。例如，实践者可能会增加在数据集中不佩戴项圈的狗照片的权重。
然而，在他们的新工作中，研究人员展示了并不总是能识别出导致问题的虚假特征——这使得解决虚假相关性的传统技术变得无效。
“我们开展这项工作的目标是开发一种技术，使我们能够在对这些虚假特征一无所知的情况下切断虚假相关性，”金说。
这项新技术依赖于移除用于训练人工智能模型的小部分数据。
“培训数据集中包含的数据样本可能会有显著差异，”金说。“某些样本可能非常简单，而其他样本可能非常复杂。我们可以根据模型在训练过程中的表现来衡量每个样本的“难度”。
“我们的假设是，数据集中最难的样本可能是嘈杂和模糊的，并且最有可能迫使网络依赖于无关信息，这会影响模型的性能，”金解释说。“通过消除那些难以理解的小部分训练数据，你也在消除那些包含虚假特征的难数据样本。这种消除克服了虚假相关性的问题，而不会造成显著的不良影响。”
研究人员证明，这项新技术实现了最先进的结果——即使与之前可以识别虚假特征的模型相比，性能也有所提高。
经过同行评审的论文《通过数据裁剪切断虚假相关性》将在国际学习表征会议（ICLR）上展示，该会议将于4月24日至28日在新加坡举行。论文的第一作者是北卡罗来纳州立大学的博士生Varun Mulchandani。
