我们是否在依赖我们并不完全理解的技术？一项来自萨里大学的新研究正值人工智能系统正在影响我们日常生活的决策之时——从银行和医疗到犯罪检测。该研究呼吁立即改变人工智能模型的设计和评估方式，强调在这些强大算法中需要透明性和可信性。
随着人工智能融入那些决策可能造成改变生活后果的高风险领域，与“黑箱”模型相关的风险比以往更大。研究揭示了人工智能系统在决定中必须提供充分解释的实例，使用户能够信任并理解人工智能，而不是让他们感到困惑和脆弱。医疗中的误诊案例和银行中的错误欺诈警报都表明，潜在的危害——可能危及生命——是显著的。
萨里大学的研究人员详细阐述了人工智能系统未能充分解释其决策的令人担忧的实例，使用户感到困惑和脆弱。医疗中的误诊案例和银行中的错误欺诈警报都表明，潜在的危害是显著的。欺诈数据集本质上是不平衡的——0.01%是欺诈性交易——造成数十亿美元的损失。人们知道大多数交易是真实的，这令人放心，但这种不平衡对人工智能学习欺诈模式构成挑战。尽管如此，人工智能算法可以非常准确地识别欺诈交易，但目前缺乏充分解释其欺诈理由的能力。
研究的共同作者、萨里大学分析学高级讲师沃尔夫冈·加恩博士表示：“我们不能忘记，每个算法解决方案背后都涉及到真实的人，他们的生活受到这些确定性决策的影响。我们的目标是创建不仅智能且能为人们——即技术的用户——提供可以信任和理解的解释的人工智能系统。”
该研究提出了一个称为SAGE（设置、观众、目标和伦理）的综合框架，以解决这些关键问题。SAGE旨在确保人工智能解释不仅易于理解，而且对最终用户具有情境相关性。通过关注目标受众的具体需求和背景，SAGE框架旨在弥合复杂的人工智能决策过程与依赖于它们的人类操作员之间的差距。
结合这一框架，研究使用情景基础设计（SBD）技术，深入探讨现实场景，以找出用户对人工智能解释的真正需求。该方法鼓励研究人员和开发人员站在最终用户的角度，确保人工智能系统的设计以同理心和理解为核心。
沃尔夫冈·加恩博士继续表示：“我们还需要强调现有人工智能模型的不足之处，这些模型往往缺乏提供有意义解释所需的情境意识。通过识别和解决这些差距，我们的论文倡导在人工智能开发中优先考虑以用户为中心的设计原则。呼吁人工智能开发人员积极与行业专家和最终用户进行互动，促进一个合作环境，使来自各方利益相关者的见解能够塑造人工智能的未来。通往一个更安全、更可靠的人工智能环境的道路始于对我们创造的技术及其对我们生活影响的理解。我们不能忽视对变革的呼唤，因为风险太高。”
研究强调人工智能模型以文本形式或图形表示形式解释其输出的重要性，以满足用户的多样化理解需求。这种转变旨在确保解释不仅易于获取，而且可操作，使用户能够基于人工智能的见解做出明智的决策。
该研究已发表在《应用人工智能》期刊上。
