在面对面的对话中，讲者使用手势来传达意思。但听者是否真的会使用这些手势来预测某人下一句可能会说的话呢？在一项使用虚拟化身的研究中，来自马克斯·普朗克心理语言学研究所和奈梅亨拉德布德大学的科学家们表明，听者利用虚拟化身的手势来预测即将到来的讲话。行为和脑电图（EEG）数据均表明，手势有助于语言处理，显示了人类沟通的多模态特性。
人们在谈论打字时可能会扭动手指，表现出“打字”的动作。看到有意义的手部动作——也称为象征性手势——帮助听者处理口语语言。首位作者马尔林·特尔·贝克表示：“我们已经知道，配合象征性手势产生的问题在对话中会得到更快的回应。”
手势可能加速语言处理，因为它们有助于预测接下来会发生的事情。特尔·贝克解释道：“手势通常在对应的言语（如“打字”这个词）之前开始，因此它们已经展示了一些关于讲者接下来可能会说什么的信息。”
为了调查听者是否使用手势来预测即将到来的讲话，研究人员决定进行两项使用视觉化身的实验。“我们使用虚拟化身，因为我们可以精确控制他们说什么以及如何移动，这有助于从实验中得出结论。同时，它们看起来也很自然。”
预测目标词
在第一次实验中，参与者听取了虚拟化身提问，例如“你多大时学会……打字？”在目标词（“打字”）之前有一个停顿。虚拟化身要么做出打字手势，要么做出无意义的控制动作（如抓手臂），要么不做任何动作。参与者听到问题直到目标词，并被要求猜测接下来会如何继续。
如预期所料，当参与者看到相应的手势时，他们更常预测目标词（例如，“打字”）。
脑电波
在第二次实验中，一组不同的参与者仅仅听取了完整播放的问题。他们的脑活动通过脑电图（EEG）记录下来。
在目标词之前的静默停顿期间，手势影响着通常与预期相关的脑电波。在目标词之后，手势影响了表明理解一个词的难易程度的脑反应（减少的N400效应）。在看到手势后，人们发现理解即将出现的词的意思变得更容易。
“这些结果表明，即使参与者仅仅在倾听，他们也会使用手势来预测某人接下来可能会说什么。”特尔·贝克总结道。
机器人和虚拟化身
“我们的研究表明，即使是虚拟化身产生的手势也能促进语言处理。如果我们希望人工代理（如机器人或虚拟化身）能够被人类轻松理解，并且以人类的方式交流，它们不仅应该通过语言进行沟通，还应该使用有意义的手势。”
