一种新型人工智能（AI）工具将医学影像信息与文本数据结合，以预测癌症的结果和治疗反应。
将视觉数据（如微观图像、X光片、CT扫描和MR扫描）与文本信息（包括医生笔记和跨学科交流）结合在癌症治疗中发挥着关键作用。虽然AI在检查图像和识别与疾病相关的不规则性方面发挥了积极作用，但成功合并不同数据形式以创建计算模型依然具有挑战性。
斯坦福医学院的研究人员现在创建了一种有效整合视觉和文本信息的AI模型。在对来自标准病理切片的5000万医学图像和超过10亿相关病理文本的庞大数据集进行训练后，该模型在预测众多癌症患者的结果方面表现出卓越的能力。它还可以确定哪些肺癌或胃食管癌患者可能对免疫治疗反应良好，并识别出黑色素瘤患者更高的癌症复发风险。
该模型名为MUSK，代表“统一遮罩建模的多模态变压器”。它与传统临床环境中AI的应用有显著不同，研究人员相信它有潜力彻底改变AI支持患者护理的方式。
“MUSK可以准确预测不同类型和阶段癌症患者的结果，”放射肿瘤学副教授李瑞江（Ruijiang Li）博士说。“我们开发MUSK是因为在实际临床实践中，医生很少依靠单一类型的数据来做出决策。我们的目标是利用多种数据类型获得更深入的见解，并对患者结果进行更精确的预测。”
李博士隶属于斯坦福癌症研究所，是1月8日刊登在《自然》杂志上的研究的主要作者之一。博士后学者向金希（Jinxi Xiang）和王悉悦（Xiyue Wang）领导了这项研究。
尽管AI工具在临床环境中的使用有所增加，其主要应用仍集中在诊断（如验证图像是否显示癌症迹象）而非预后（预测可能的临床结果和个体治疗效果）上。
一个挑战是，这些模型需要大量标注数据（如识别肺组织切片上的癌性肿瘤）和相应的配对数据（关于患者的临床笔记）。然而，很难找到组织良好且注释准确的数据集。
一种可访问的工具
在AI术语中，MUSK被分类为基础模型。基础模型是在庞大数据集上预训练的，可以通过进一步培训定制以完成特定任务。通过设计MUSK使用不符合传统训练标准的无配对多模态数据，研究人员显著增加了初始训练阶段可用的数据量。在此之后，进一步的专门训练只需要更小的数据集。因此，MUSK成为一种现成可用的工具，医生可以根据特定的临床问题进行调整。
李博士解释道：“最大的未满足临床需求是能够帮助医生指导患者治疗的模型。这个患者该服用这种药物吗？还是另一个治疗更合适？目前，医生依赖于如疾病分期和特定基因或蛋白标志物等信息来指导这些决策，但这并不总是精确的。”
研究团队从国家数据库癌症基因组图谱收集了显微组织切片、相关病理报告和随访数据（包括患者结果），涵盖了16种主要癌症类型，如乳腺癌、肺癌、结直肠癌、胰腺癌、肾癌、膀胱癌和头颈癌。他们利用这些数据训练MUSK以预测特定疾病的生存率，指示在指定时间内未因特定疾病去世的患者比例。
MUSK对所有癌症类型的特定疾病生存率预测准确率为75%。相比之下，仅基于患者癌症分期和其他临床风险因素的标准预测准确率为64%。
此外，研究人员训练MUSK分析数千个数据点，以确定哪些肺部或消化道癌症患者可能从免疫治疗中受益。
李博士指出：“目前，决定是否向患者施用特定免疫治疗的主要标准是他们的肿瘤是否表达一种称为PD-L1的蛋白质。PD-L1是单一蛋白质生物标志物。相比之下，利用AI评估数百或数千种不同数据类型，包括组织成像、患者人口统计信息、医疗历史、先前治疗和临床笔记中获取的实验室结果，可以显著增强我们判断谁适合受益的能力。”
对于非小细胞肺癌患者，MUSK准确识别患者是否可能从免疫治疗中受益的概率约为77%，而使用PD-L1表达的传统方法的正确率仅约为61%。
当研究人员训练MUSK检测哪些黑色素瘤患者在初次治疗后五年内最有可能复发时，这些良好结果得到了再现。在这种情况下，模型的准确率约为83%，比其他基础模型的预测精度高出约12%。
李博士强调：“MUSK独特之处在于其能够在预训练期间整合无配对多模态数据，显著提高可用数据的规模，与其他模型所需的配对数据集相比，我们观察到在所有临床预测场景中，整合多样数据类型的模型始终优于单一依赖成像或文本的模型。在像MUSK这样的AI模型中利用无配对多模态数据代表了一项重大进展，增强了AI支持医师改善患者护理的能力。”
来自哈佛医学院的研究人员也为此工作做出了贡献。
该研究获得了美国国立卫生研究院（NIH）的资助（资助号R01CA222512、R01CA233578、R01CA269599、R01CA285456、R01CA290715和R01DE030894），以及斯坦福人文中心人工智能研究所的资助。
