研究人员创建了一个系统，将人工智能的解释转化为简单的叙述文本，使用户更容易理解。这一创新可能帮助个人识别何时可以对模型的预测有信心。
机器学习模型可能容易出错且难以操作，因此科学家们设计了解释技术，帮助用户理解何时可以信任模型的预测。
然而，这些解释往往可能复杂，有时包含关于多个模型特征的信息。它们也可能以复杂的可视化形式呈现，对于没有机器学习背景的人来说，完全理解这些内容可能非常困难。
为了简化这些人工智能解释，麻省理工学院的研究人员利用大型语言模型（LLM）将图形解释转换为简单易懂的语言。
他们创建了一个两步系统，首先将机器学习的解释转化为易读的段落，然后自动评估文本的质量，以便用户可以判断其可信度。
通过向系统提供一些示例解释，研究人员可以调整其叙述风格，以符合用户的偏好或特定应用需求。
最终，研究人员的目标是提升这项技术，以便用户能够在实际场景中向模型提出进一步的问题，询问模型如何得出其预测。
“这项研究的目标是迈出第一步，允许用户与机器学习模型进行全面讨论，探讨某些预测背后的原因，使他们能够做出明智的决定，而不是仅仅听从模型的建议，”电气工程与计算机科学（EECS）研究生、该技术论文主要作者亚历克斯·齐特克（Alexandra Zytek）解释道。
齐特克的研究伙伴包括麻省理工学院的博士后Sara Pido，EECS研究生Sarah Alnegheimish，法国国家可持续发展研究院的研究主任Laure Berti-Équille，以及信息与决策系统实验室的首席研究科学家Kalyan Veeramachaneni，他们的研究结果将在IEEE大数据会议上展示。
澄清解释
研究人员专注于一种众所周知的机器学习解释类型，名为SHAP。在SHAP解释中，模型用于做出预测的每个特征都会获得一个值。例如，如果一个模型估计房价，其中一个特征可能是房屋的位置，该位置将被分配一个正值或负值，表示其对模型整体预测的影响。
SHAP解释通常以条形图形式显示，展示最重要和不重要的特征。然而，对于一个使用超过100个特征的模型，这种图表很快就会变得笨拙。
“作为研究人员，我们必须做出许多决定来确定视觉表现的内容。如果我们选择只显示前10个特征，用户可能会质疑未包含在图中的其他特征的相关性。使用自然语言可以减轻这些决策的必要性，”Veeramachaneni表示。
研究人员没有让大型语言模型生成新的解释，而是使用LLM将现有的SHAP解释转换为清晰的叙述。
齐特克指出，赋予自然语言的角色于LLM，可以减少解释中的不准确性。
这个系统名为EXPLINGO，由两个和谐工作的组件组成。
第一部分，叙述者（NARRATOR），使用LLM创建与用户偏好相适应的SHAP输出的叙述解释。通过最初向叙述者提供三到五个书面示例，LLM学习在其文本创作中复制该风格。
“与其让用户准确表达他们想要的，提供一个他们渴望的书面示例更简单，”齐特克解释道。
这种方法使得叙述者可以通过使用不同的示例文本集，轻松调整应用于新的场景。
一旦叙述者生成普通语言解释，第二部分评分者（GRADER）会利用LLM根据四个标准（简洁性、准确性、完整性和流畅性）对叙述进行评估。评分者会自动与LLM互动，使用叙述者生成的文本和SHAP解释进行验证。
“我们发现，即使LLM在执行某项任务时犯错，它通常在验证或检查该任务时表现出色，”她提到。
用户还有选项可以配置评分者以优先考虑不同的度量标准。
“例如，在关键情况下，可能希望比流畅性更强调准确性和完整性，”她补充道。
探索叙述
对于齐特克及其团队来说，一个主要障碍是调整LLM以生成听起来自然的叙述。他们施加的风格控制越多，LLM引入错误的可能性就越高。
“需要进行大量提示调整，以逐个识别和纠正每个错误，”她表示。
为了评估他们的系统，研究人员检查了九个有解释的机器学习数据集，要求各种用户为每个数据集撰写叙述。这使他们能够测试叙述者模仿独特写作风格的能力。他们利用评分者根据所有四个标准评估每个叙述。
最终，研究人员得出结论，他们的系统能够生成高质量的叙述解释，同时准确反映各种写作风格。
他们的研究结果表明，提供一些精心制作的示例解释显著增强了叙述风格。然而，这些示例必须仔细编写——例如，使用比较术语如“更大”可能导致评分者错误地将准确的解释识别为错误。
基于这些见解，研究人员旨在研究提升系统处理比较语言能力的策略。他们还计划通过将合理化整合到解释中，扩大EXPLINGO。
在未来，他们希望将这项工作发展为一个互动系统，用户可以就解释提出后续问题。
“这将显著改善决策过程。如果用户对模型的预测有疑问，我们希望他们快速确定他们的直觉是否有效或者模型的推理是否成立，并理解任何不一致的来源，”齐特克强调道。
