医疗中的人工智能是否公平？

他们的发现详细记载在2025年4月7日的《自然》医学在线期刊上，强调了早期发现和干预的重要性，确保AI驱动的护理对所有人都是安全、有效和适当的。

作为调查的一部分，研究人员在1000个急诊病例上对九种大型语言模型（LLMs）进行了压力测试，每个病例以32种不同的患者背景进行复制，生成超过170万个AI生成的医疗建议。尽管临床细节相同，但AI模型有时会根据患者的社会经济和人口特征调整他们的决定，影响关键领域如分诊优先级、诊断测试、治疗方法和心理健康评估。

“我们的研究提供了AI保证的框架，帮助开发者和医疗机构设计公平可靠的AI工具，”共同高级作者、埃因霍温医学院Windreich人工智能与人类健康系的生成性AI主任Eyal Klang博士表示。 “通过识别AI何时根据背景而非医疗需求变化建议，我们可以更好地指导模型训练、提示设计和监督。我们严格的验证过程将AI输出与临床标准进行测试，结合专家反馈来改进性能。这种主动的方法不仅增强了人们对AI驱动护理的信任，而且有助于制定更好的医疗政策。”

研究中最引人注目的发现之一是一些AI模型倾向于根据患者人口统计信息而非医疗必要性加大护理建议，尤其是心理健康评估。此外，高收入患者更常被推荐进行如CT扫描或MRI等高级诊断测试，而低收入患者则更频繁地被建议不进行进一步测试。研究人员表示，这些不一致的规模凸显了需要更强监管的必要性。

尽管研究提供了重要见解，但研究人员警告说这只是AI行为的一个快照。未来的研究将继续包括保证测试，以评估AI模型在现实世界临床环境中的表现，以及不同的提示技术是否能减少偏见。研究团队还旨在与其他医疗机构合作，改进AI工具，确保其遵循最高的伦理标准，并公平对待所有患者。

“我很高兴能与埃因霍温医学院合作开展这项关键研究，以确保AI驱动的医学惠及全球患者，”研究的第一作者、博士生Mahmud Omar表示，他与研究团队进行过咨询。“随着AI愈加融入临床护理，彻底评估其安全性、可靠性和公平性至关重要。通过识别这些模型可能引入偏见的地方，我们可以努力改进其设计，加强监管，并建立确保患者始终置于安全、有效护理核心的系统。这一合作是建立全球医疗中AI保证最佳实践的重要一步。”

“AI有能力彻底改变医疗保健，但前提是负责任地开发和使用，”共同高级作者、埃因霍温医学院Windreich人工智能与人类健康系主任、Hasso Plattner数字健康研究所主任及医学教授Girish N. Nadkarni博士表示。“通过合作和严格的验证，我们正在改进AI工具，以维护最高伦理标准并确保适当的以患者为中心的护理。通过实施强大的保证协议，我们不仅推动技术进步，还建立了变革性医疗所必需的信任。通过适当的测试和保障措施，我们可以确保这些技术改善每个人的护理，而不仅仅是特定群体。”

接下来，研究人员计划通过模拟多步骤临床对话和在医院环境中试点AI模型来扩展他们的工作，以衡量其现实世界的影响。他们希望他们的发现能够指导医疗保健中AI保证的政策和最佳实践的发展，增强对这些强大新工具的信任。

论文题为“大型语言模型在医疗决策中的社会人口偏见：大规模多模型分析。”

研究的作者名单如期刊所列，包括Mahmud Omar，Shelly Soffer，Reem Agbareia，Nicola Luigi Bragazzi，Donald U. Apakama，Carol R. Horowitz，Alexander W. Charney，Robert Freeman，Benjamin Kummer，Benjamin S. Glicksberg，Girish N. Nadkarni和Eyal Klang。