文化价值观和传统在世界各地各不相同,但大型语言模型(LLM),如文本生成应用程序(例如ChatGPT)中的模型,通常反映英语国家和新教欧洲国家的价值观。康奈尔大学的研究团队认为他们找到了一个简单的解决方案来解决这个问题。
研究人员对五个不同版本的ChatGPT进行了实验,发现使用“文化提示”(即要求AI像来自不同文化背景一样回答)显著减少了他们研究的100多个国家的响应偏见。他们的结果表明,指导AI模型反映多元文化价值观可能是简单的,有助于缓解这些流行技术中的文化偏见。
信息科学副教授Rene Kizilcec表示:“在全球范围内,能够创建大型语言模型的组织少之又少,因为这需要大量资源。因此,具备这种能力和责任的组织,必须仔细考虑他们的模型如何影响世界各地的不同地区。”
“人们在学习、工作和交流中直接和间接地与像ChatGPT这样的工具互动,”他继续说道。“就像科技公司开发本地化的键盘以适应不同的语言一样,LLM也应该调整以反映不同地区的文化规范和价值观。”
Kizilcec是题为《大型语言模型的文化偏见和文化一致性》的论文的资深作者,该论文于9月17日在《PNAS Nexus》上发布。Yan Tao是信息科学的博士生,也是Kizilcec的未来学习实验室的一员,是该论文的首席作者。
在他们的研究中,Kizilcec和他的同事评估了五个版本的ChatGPT——3、3.5 Turbo、4、4-Turbo和新发布的4o。他们将AI响应与在综合价值观调查中收集的全国代表性调查数据进行了比较,这是一种公认的评估107个国家和地区文化价值观的框架。
在最新评估的模型(GPT-4、4-turbo、4o)中,文化提示方法增强了71%至81%相关国家和地区的文化视角一致性。
“与其微调模型或使用各种语言的提示以引出特定文化的响应——这两者通常需要专业资源——文化提示只需在提示中直接陈述文化身份,”Tao解释道。“这种方法更友好,且不需要大量资源。”
此研究获得了雅各布斯基金会和数字未来的部分资助。