人工智能（AI）工具，如家庭助手、搜索引擎以及大型语言模型如ChatGPT，可能看起来全知全能，但它们的有效性在很大程度上依赖于训练数据的质量。许多用户在使用AI技术时并未充分理解训练它们的数据或这些数据的来源，包括其中可能存在的任何偏见。宾州州立大学的研究者们最近的一项研究表明，分享关于训练数据的详细信息可以帮助设定对AI系统的现实期望，使用户能够更好地决定何时以及如何使用这些工具。
这项研究探讨了提供有关种族多样性的提示——视觉指示符，告知用户训练数据的种族构成以及注释它的众包个体的人口统计信息——是否能够影响用户对AI算法的公平性和信任感的看法。研究结果发表在期刊《人机交互》上。
宾州州立大学的教授、社会责任人工智能中心主任S. Shyam Sundar指出，AI训练数据通常会携带与种族、性别和其他因素相关的系统性偏见。
“用户可能没有意识到，通过使用某些AI工具，他们可能无意间支持了偏见决策，”他说。
首席作者陈“克里斯”成是埃隆大学的传播设计助理教授，曾在宾州州立大学获得大众传播博士学位，她指出，用户通常缺乏评估AI系统中存在的偏见所需的信息，因为他们通常无法获得关于训练数据或参与训练的人的详细信息。
“这种偏见在用户完成任务后表现出来，这意味着损害已经发生，因此用户在参与之前缺乏足够的信息来评估他们对AI的信任，”陈解释说。
Sundar建议，告知用户关于训练数据的性质，尤其是其种族构成，可能会是有益的。
“这就是我们在实验研究中测试的内容，以观察是否会影响用户对系统的看法，”Sundar表示。
为了研究多样性提示如何影响对AI技术的信任，研究者们设置了两个实验场景——一个展示多样性，另一个则缺乏多样性。多样性场景包括机器学习模型的简要概述、数据标记实践，以及显示三种种族类别（白人、黑人和亚裔）的面部图像的条形图，各占数据集的大约三分之一。相对而言，非多样性设置显示92%的图像来自单一主导种族群体。标记者的背景在多样性条件下同样平衡，但在非多样性情况下则倾向于一个群体，92%来自主导种族群体。
参与者分析了有关一个名为HireMe的AI工具（用于分类面部表情）的训练数据特征的数据卡。之后，他们观看了三个不同种族、资格相等的男性候选人的自动面试。AI实时分析并显示了候选人的中性表情和语调，重点关注最突出的情感表达并评估每位候选人的适合度。
在一个场景中，一半的参与者经历了种族偏见系统的表现，其中AI被操控以偏袒白人候选人，暗示他的中性表情显示出快乐，并认为他适合这份工作。相反，它不准确地将黑人和亚裔候选人的表情分别描述为愤怒和恐惧。无偏差场景准确地为所有候选人表现欢喜，平等地承认他们都是强有力的申请者。参与者随后对AI的评估提供反馈，用五分制评估他们的同意程度，并在存在分歧的情况下选择最准确的情感。
“我们的结果表明，展示训练数据中的种族多样性以及标记者的背景增强了用户对AI的信任，”陈强调。“此外，给予反馈的机会提高了参与者的自主感以及他们在未来背景中使用AI的可能性。”
然而，研究者们观察到，在无偏见系统上允许反馈降低了白人参与者的可用性，他们认为系统已经公平运行，因此感到没有激励去贡献反馈，将其视为不必要的任务。
研究得出结论认为，呈现多种种族多样性提示是独立运作的；然而，数据的多样性和标记者的多样性都有效地影响用户对系统公平性的看法。他们注意到代表性启发式，用户通常假设如果AI的训练与他们对多样性的定义一致，那么训练过程必然是种族包容的。
“如果AI模型主要是在一个种族群体的个体标记的表情上训练的，它就有可能误解其他种族背景人的情感，”Sundar观察到，他同时兼任宾州州立大学贝利萨里奥传播学院的媒体效果詹姆斯P.吉米罗教授和媒体效果研究实验室的共同主任。“在评估诸如快乐或愤怒这样的情感时，系统考虑种族是至关重要的，这需要在训练过程中有多元化的图像和标记者。”
研究者们强调，为了使AI系统被视为可信，用户必须能获取关于其训练数据来源的信息，使他们能够在信任系统之前评估和反思这些信息。
“提供这些信息的访问促进了AI系统的透明度和问责制，”Sundar评论道。“即使用户不主动寻找这些信息，其可用性也传达出对伦理实践的承诺，促进了对这些技术的公平性和信任。”
