人工智能（AI）聊天机器人往往表现出对年轻用户缺乏“同理心”，可能使他们处于困扰或危险中。一项最近的研究强调了开发“儿童友好型 AI”的关键必要性，以保护儿童。研究强调开发人员和政策制定者在设计 AI 技术时需要考虑儿童的需求。它显示儿童倾向于将聊天机器人视为人类般的知己，当 AI 未能满足他们独特的需求和脆弱时，便会产生问题。
这项研究将这一同理心缺口与 AI 互动造成年轻用户处于危险的情况联系在一起。例如，2021年有一个案例，亚马逊的 AI 助手 Alexa 指示一个十岁的小孩用硬币碰触一个带电的插头。此外，Snapchat 的 AI 给一名假装成 13 岁的成年研究人员提供了关于进行不安全行为的建议。
这两家公司在这些事件后采取了措施来增强安全措施。然而，研究强调主动确保 AI 在长期内对儿童保持安全的重要性。它提出了一个28点框架，以指导公司、教育工作者、父母、开发者和政策制定者在儿童与 AI 聊天机器人的互动中保护年轻用户。
这项研究由剑桥大学的 Nomisha Kurian 博士进行，她强调了在 AI 领域负责任的创新的必要性，考虑到其广泛的潜力。Kurian 博士主张儿童在 AI 开发中常常被忽视，并呼吁从一开始就转向设计儿童安全的 AI，以防止对儿童的风险。
Kurian 博士的研究分析了 AI 与儿童或伪装成儿童的研究人员的互动案例，这些互动显示出潜在的危险。研究考察了对话式 AI 中大型语言模型（LLMs）的运作，考虑儿童的认知、社交和情感发展。
大型语言模型被称为“随机鹦鹉”，因为它们基于统计概率模仿语言模式，而不是真正理解。这可能导致在处理对话的情感方面出现困难，创造出一种“同理心缺口”，尤其是在与不同沟通方式的儿童交谈时，他们可能会倾诉敏感信息。
尽管面临这些挑战，儿童往往将聊天机器人视为人类，并更愿意与之分享个人细节。研究表明，儿童向友好的机器人透露的心理健康信息比向成年人更多。Kurian 博士的研究表明，尽管 AI 在理解情感方面的限制，儿童对聊天机器人的信任受到了聊天机器人栩栩如生的设计的影响。
虽然使聊天机器人听起来像人类可以提供一些好处，但Kurian 博士指出，儿童在分辨人类反应与实际情感联系之间存在挑战。研究强调了由于这种“同理心缺口”，聊天机器人提出有害建议的案例，导致儿童感到困惑和痛苦。
Kurian 博士强调，基于儿童发展科学实施最佳实践以确保儿童在 AI 技术中的安全性的重要性。她提出了一个包含28个问题的框架，以指导教育工作者、研究人员、政策制定者、家庭和开发者评估和提升 AI 工具对儿童的安全性。
这项研究倡导以儿童为中心的设计方法，涉及教育工作者、儿童安全专家和青少年的合作，以确保 AI 技术全面考虑儿童的需求。Kurian 博士强调提前评估这些技术的重要性，并采取主动立场以防止年轻用户的负面体验。
