对话代理（CAs），如Alexa和Siri，被编程用于回应查询、提供建议，甚至表现出同理心。然而，最近的研究表明，它们在理解和深入用户体验方面与人类相比存在困难。
对话代理由大型语言模型（LLMs）驱动，这些模型摄取大量人类生成的数据。
自动化系统依赖人类提供的数据，因此容易受到与人类相同的偏见。来自康奈尔大学、奥林学院和斯坦福大学的研究人员进行了一项研究，检验虚拟助手（CAs）在与不同人类身份互动或讨论时展示的同理心。研究显示，CAs往往对某些身份（如与LGBTQ和穆斯林社区相关的身份）做出主观判断，甚至可能表达对与如纳粹主义等有害意识形态相关的身份的支持。研究人员认为，自动化同理心有潜力产生显著积极影响，特别是在教育和医疗等领域。首席作者安德烈亚·库阿德拉（Andrea Cuadra），现为斯坦福大学的博士后研究员，她表示：“自动化同理心不成为现实的可能性极小，因此我们必须以批判性的视角来处理它，以便更有意图地减少潜在的负面影响。”
库阿德拉将在CHI ’24上展示“同理心的幻觉？关于人机交互中情感表现的笔记”，CHI ’24是计算机协会计算机系统人因会议，将于5月11日至18日在檀香山举行。来自康奈尔大学的研究合著者包括副教授尼科拉·戴尔和教授德博拉·埃斯特林。研究由研究人员戴尔、埃斯特林和庄进行，发现LLMs通常在情感反应方面得分较高，但在解释和探索方面得分较低。这意味着，虽然LLMs能够根据训练回应查询，但在进行更深入分析时则显得力不从心。库阿德拉的研究灵感来自她在研究早期CAs的使用时的观察，她注意到老年人对该技术的有趣使用，包括脆弱健康评估和其他事务性目的。埃斯特林指出，该研究聚焦于开放式回忆体验，过程中观察到了引人入胜和令人不安的“同理心”之间的紧张关系。该研究得到了国家科学基金会、康奈尔科技数字生活倡议博士奖学金、斯坦福PRISM贝克博士后奖学金以及斯坦福以人为本的人工智能研究所的资助。
