研究人员发现，一个人工智能（AI）模型能够准确回答旨在评估医疗专业人员使用临床图像和简要文本描述诊断患者技能的医学测验问题。然而，医生指出，AI在其图像描述和详细说明其结论背后的推理时出现了错误。
由国家卫生研究院（NIH）研究人员进行的一项研究表明，AI模型准确处理医学测验问题，这些问题评估医疗专业人员利用临床图像和简要总结的诊断能力。然而，医生评分者的评估突出了AI在图像描述和推理过程中的不准确性。这些结果阐明了AI在医疗保健中潜在应用的可能性，发表在npj Digital Medicine期刊上。该研究由NIH国家医学图书馆（NLM）和纽约市的韦尔康奈尔医学中心的科学家主导。
“将AI纳入医疗保健中具有重大的潜力，可以作为一种资源，帮助医疗专业人员更有效地诊断患者，从而实现更早的治疗，”NLM代理主任Stephen Sherry博士表示。“然而，正如这项研究所表明的，AI尚未达到成熟的水平，不可能取代人类在精确诊断中的重要经验。”
AI和人类医生处理了来自新英格兰医学杂志（NEJM）图像挑战的问题，这是一个在线测验，展示了真实的临床图像，以及详细患者症状的简短描述，要求用户从选项列表中确定正确的诊断。
AI负责回答207个图像挑战问题，并被指示提供一份书面说明来证明每个诊断的合理性。说明中强调需要涵盖图像描述、相关医学知识的总结，以及逐步分解导致每个答案的推理过程。
九位来自不同专科的医生参与研究，首先以“闭卷”格式（不参考任何外部材料）工作，然后以“开卷”格式（可以访问外部资源）。随后，研究人员向医生提供了正确答案以及AI的回答和推理，然后要求他们评估AI的图像描述、知识总结和推理步骤。
研究表明，AI和医生在识别正确诊断方面通常都很成功。值得注意的是，AI模型在闭卷情境中的表现优于医生，而在使用开卷资源时，医生在更具挑战性的问题上超越了AI。
至关重要的是，医生的评估表明，即使AI正确识别了最终诊断，它在描述医学图像和推理方面仍然存在多个错误。例如，当给出一张显示两个病变的患者手臂的图片时，一位人类医生能够识别出这两个病变源于同一种状况。然而，AI由于病变角度的不同造成了颜色和形状变化的错觉，未能将这两个病变联系到单一诊断上。
研究人员强调，这些见解突显了在将多模态AI技术整合到临床实践之前进行进一步评估的必要性。
“这项技术有潜力通过基于数据的见解帮助临床医生提升技能，从而改善临床结果，”NLM高级研究员、该研究的主要作者之一Zhiyong Lu博士表示。“认识到这项技术的风险和限制对于有效利用其在医学领域的潜力至关重要。”
该研究涉及一个称为GPT-4V（具有视觉的生成预训练变换器4）模型，由于其能够处理多种数据类型，包括文本和图像，因此被归类为“多模态AI模型”。尽管研究人员承认这项研究相对较小，但它为多模态AI在支持医疗专业人员决策中的能力提供了见解。需要进一步研究评估这样的模型与医生的诊断技能相比如何。
这项研究包括来自NIH国家眼科研究所和NIH临床中心；匹兹堡大学；达拉斯的UT西南医学中心；纽约大学格罗斯曼医学院；波士顿的哈佛医学院和马萨诸塞州总医院；克利夫兰的凯斯西储大学医学院；加州大学圣地亚哥分校以及小石城的阿肯色大学的伙伴机构的贡献。
