研究人员发现，ChatGPT一致将带有与残疾相关的荣誉和资格的简历排名低于没有此类表述的简历。然而，当研究人员给该工具提供具体指示以避免能力歧视时，测试的大多数残疾的偏见有所减少，只有一种情况例外。
在寻找研究实习机会时，华盛顿大学的研究生凯特·格拉兹科观察到招聘者提到他们使用OpenAI的ChatGPT和其他人工智能工具来评估简历和候选人。自动筛选已成为招聘中的一种常见做法，但格拉兹科，华盛顿大学保罗·G·艾伦计算机科学与工程学院的博士生，专注于生成性人工智能如何复制和加剧对残疾人士的偏见。她质疑这样的系统如何评估暗示残疾的简历。
在一项最近的研究中，华盛顿大学的研究人员发现，ChatGPT一致将带有与残疾相关的荣誉和资格的简历评分低于相同但不提及这些信息的简历。该系统给出的排名的解释带有偏见，例如指出一份拥有自闭症领导奖的简历在“领导角色上的强调较少”，延续了关于自闭症个体的刻板印象。
当研究人员指示该工具避免能力歧视时，包括失聪、失明、脑性瘫痪、自闭症和一般的“残疾”术语在内的六种暗示性残疾的偏见减少，其中三种的排名高于没有提及残疾的简历。
该团队在2024年6月5日在里约热内卢举办的ACM公平、问责和透明会议上公布了这些发现。
“使用人工智能对简历进行排名的做法变得越来越普遍，但关于其安全性和有效性的研究仍然不够，”该研究的主要作者格拉兹科说。“残疾人士通常需要决定是否在简历中包含残疾资格，即使是人类审阅者。”
研究人员利用一位作者的公开简历（CV），大约有10页。然后，他们生成了六份修改过的简历，每份通过加入四项与残疾相关的资格暗示不同的残疾：奖学金、奖项、多样性、公平与包容性（DEI）小组席位，以及学生组织的成员资格。
利用ChatGPT的GPT-4模型，研究人员将这些修改过的简历与真实的美国大型软件公司的“学生研究员”职位的原始版本进行比较。他们进行了10次重复比较，在60次试验中，仅有25%的情况下，增强版的简历由于暗示的残疾而排名第一。
“在一个公正的世界中，修改后的简历应该始终排名第一，”华盛顿大学艾伦学院的教授兼该研究的资深作者詹妮弗·曼考夫指出。“在任何工作环境中，一个因领导能力而被认可的人应该理应被列为具备类似资格者之上。”
当研究人员询问GPT-4关于其排名的情况时，其回答显示出明显和隐含的能力歧视。例如，它评论称，一位抑郁症候选人“更关注DEI和个人挑战”，这“分散了对该角色核心技术和研究导向方面的注意。”
“GPT的一些描述将一个人的整个简历普遍化，只基于他们的残疾，暗示对多样性、公平与包容性或残疾的参与可能会削弱其他方面，”格拉兹科强调。“例如，在涉及抑郁简历的比较中，尽管并未明确提到‘挑战’，但它设想了‘挑战’的概念，揭示了潜在的刻板印象。”
为了探索减少偏见的可能性，研究人员转向GPT的编辑工具，使他们能够根据书面指导定制GPT-4，而无需任何编码。这些指导指示聊天机器人避免能力歧视，并根据残疾公正和DEI原则运行。
他们再次使用新训练的聊天机器人进行了实验。总体而言，该系统在60次尝试中有37次将修改后的简历排名高于原始简历。然而，对于某些残疾，改善微乎其微或没有：自闭症简历仅在10次中排名第一3次，而抑郁症简历仅2次，保持与初始GPT-4结果不变。
“在使用人工智能进行实际操作时，人们必须意识到系统的偏见，”格拉兹科强调。“如果没有这种意识，利用ChatGPT的招聘者可能无法修正这些偏见，或理解即使在有指导情况下偏见也可能持续存在。”
研究人员指出，像ourability.com和inclusively.com这样的平台正在努力改善面临偏见的残疾求职者的就业结果，即使在招聘中使用了人工智能。他们强调，进一步研究以识别和纠正人工智能偏见的必要性，包括研究其他系统如谷歌的Gemini和Meta的Llama，涵盖更多残疾，分析系统对残疾的偏见如何与性别和种族等其他特征交叉，探索是否进一步定制可以持续减少跨残疾的偏见，以及研究使GPT-4基础版本减少偏见的可行性。
“审视和解决这些偏见是至关重要的，”曼考夫补充道。“我们从这项研究中获得了见解，并希望为关于残疾和其他边缘身份的更广泛讨论做出贡献，以确保技术的实施和部署是公平和公正的。”
