近年来，机器学习模型在评估化学物质所带来的风险方面获得了关注。然而，它们的不透明特性常常使其被贴上“黑箱”的标签，这在毒理学家和监管机构中制造了怀疑。为了建立对这些模型的信任，维也纳大学的研究人员建议明确模型表现出弱点的化学空间特定区域。他们创建了一种名为“MolCompass”的新软件工具来帮助这一努力，这项研究的成果最近发表在《化学信息学杂志》上。
传统上，新药和化妆品需经过动物测试。这些测试不仅成本高昂，还引发伦理问题，并且往往无法准确预测人类反应。最近，欧盟支持了RISK-HUNT3R项目，旨在创建先进的非动物风险评估技术。维也纳大学是这个项目合作伙伴的一部分。利用计算方法可以完全通过计算机化的过程评估与新化学实体相关的毒理和环境风险，从而不需要实际合成化学物质。然而，一个关键问题依然存在：这些计算模型的可靠性如何？
专注于准确预测
为了解决这个挑战，维也纳大学药物信息学研究小组的高级研究员谢尔盖·索斯宁专注于二元分类。在这种情况下，机器学习模型生成一个从0%到100%的概率评分，反映一个化合物被认为是活跃还是不活跃（例如，毒性或无毒，生物积累或不生物积累，或者是否能结合人类蛋白质）。这个概率表示模型对其预测的信心。理想情况下，模型应该只在正确的预测中表现出信心。如果模型表现出不确定性，得到接近51%的信心评分，这些预测应该被忽略，选择其他方法。然而，一个复杂的问题出现了，当模型自信地宣布错误的预测时。
“这对计算毒理学家来说是真正的噩梦，”谢尔盖·索斯宁解释道。“如果一个模型声称一个化合物以99%的把握是无毒的，但实际上是有毒的，就没有办法识别错误。”解决这个问题的关键在于提前识别“化学空间”中的区域——潜在有机化合物类别的范围——模型在其中存在“盲点”，并尽量避免它们。不幸的是，这需要研究人员逐一仔细审查数千个化合物的预测结果，这是一项繁琐且容易出错的工作。
克服这一重大障碍
“为了帮助研究人员完成这一任务，”索斯宁进一步阐述，“我们开发了交互式图形工具，将化合物映射在二维平面上，类似于地理地图。利用颜色，我们标识出那些被高信心不准确预测的化合物，用户可以轻松地将它们作为红点的簇进行定位。该地图是交互式的，允许用户深入化学空间，检查关注区域。”
该方法使用一个雌激素受体结合模型进行了验证。经过对化学空间的视觉分析，显然该模型对类固醇和多氯联苯等物质表现良好，但对小非环状化合物完全失效，表明在这方面应避免使用。
该项目开发的软件在GitHub上公开可用。谢尔盖·索斯宁希望MolCompass能引导化学家和毒理学家更清晰地理解计算模型固有的局限性。这项研究向着一个不再需要动物测试的未来迈出了重要一步，毒理学家唯一的工作空间只是计算机桌。
