最近，威尔康奈尔医学院和洛克菲勒大学的研究人员进行的一项研究表明，强化学习（RL），人工智能的一个分支，可以帮助医生制定连续的治疗方案以改善患者的结果。然而，在RL可以用于临床环境之前，需要进行重大改进。
强化学习（RL）指的是一种机器学习算法，能够随着时间的推移做出一系列决策。这种方法在人工智能的最新进展中发挥了关键作用，在象棋和围棋等游戏中达到了超人水平。RL可以分析不断变化的患者状况、测试结果和过去对治疗的反应，以推荐个性化医疗中的最佳下一步。它在管理慢性和精神疾病方面特别有前景。
该研究已发表在《神经信息处理系统会议论文集（NeurIPS）》中，并于12月13日进行了展示。研究介绍了“护理实验”（EpiCare），这是医疗保健领域RL的第一个基准测试系统。
指导该研究的精神病学神经科学助理教授罗根·格罗森尼克博士评论道：“基准测试推动了计算机视觉、自然语言处理、语音识别和自动驾驶等各个机器学习领域的进展。我们期待EpiCare将推动医疗领域的RL发展。”
RL代理能够根据反馈提升其策略，逐渐学习以提高决策能力。格罗森尼克博士警告说：“然而，我们的研究表明，尽管这些方法前景广阔，但需要过量的数据。”
研究团队使用EpiCare测试了五种先进的在线RL模型的表现。所有模型都超越了标准护理基准，但这仅发生在对数千甚至数万次模拟治疗实验进行了广泛训练之后。由于RL方法无法直接在实际患者身上训练，他们随后探索了五种典型的“离策略评估”（OPE）策略。这些方法利用历史数据，如临床试验信息，以避免在线数据收集的需要。然而，研究表明，当代OPE技术在医疗数据中持续未能产生准确的结果。
“我们的结果表明，目前主流的OPE方法无法可靠地预测RL在长期医疗场景中的表现，”首席作者、洛克菲勒大学研究员梅森·哈格雷夫博士表示。随着关于医疗保健领域OPE方法的讨论日益加剧，这一发现强调了EpiCare等更精确基准工具的必要性，以评估现有RL实践并提供可衡量的改进指标。
格罗森尼克博士表达了希望这一研究将增强RL在医疗保健评估中的可靠性，加速创建更有效的适用于医疗应用的RL算法和训练方法。
为图数据解释适应卷积神经网络
在同一天的NeurIPS会议上，格罗森尼克博士讨论了他的研究，聚焦于将卷积神经网络（CNN）适应于处理更为通用的图结构数据，例如来自大脑、基因或蛋白质网络的数据。CNN在2010年代初期在图像识别中的成功为“深度学习”和当前基于神经网络的人工智能应用奠定了基础。CNN广泛应用于面部识别、自动驾驶车辆和医学影像评估等多个领域。
格罗森尼克博士指出：“我们通常想要检查类似图形的神经影像数据——由顶点和边组成，而不是标准图像。然而，我们意识到在图结构数据的背景下，没有足够准确地反映CNN和深度CNN的解决方案。”
脑网络通常结构为图，其中脑区（顶点）沿着表示相互作用强度的连接（边）相互传递信息。这种结构同样适用于基因和蛋白质网络、人类和动物的行为数据，甚至像药物这样的化合物几何结构。通过直接检查这些图，研究人员能够更有效地对局部和遥远连接中的关系和模式进行建模。
与格罗森尼克博士合作的研究员艾萨克·奥萨福·恩坎萨（Isaac Osafo Nkansah）是论文的主要作者，参与了量化图卷积网络（QuantNets）框架的开发，该框架使CNN能够适用于图数据。“我们目前正在用于建模患者的脑电图（EEG, 电生理活动）。我们可以创建一个网络，由256个传感器组成，分布在头皮上，测量神经元活动，基本上这是一个图，”格罗森尼克博士解释道。“我们正在把这些庞大的图浓缩成更易消化的部分，以深入了解大脑连接在抑郁症或强迫症治疗期间是如何动态变化的。”
研究人员认为QuantNets在目前应用之外还有广泛的潜力。他们还在研究建模图结构的姿态数据，以分析小鼠模型的行为和通过计算机视觉获得的人脸表情。
格罗森尼克博士总结道：“虽然我们仍在解决将尖端人工智能技术融入患者护理的复杂性和安全性考虑，但每一个进展——无论是新的基准测试方法还是更精确的模型——都让我们朝着个性化治疗方案更进一步，这将显著改善患者的健康结果。”
