研究人员创造了HuBar，这是一种创新的可视分析工具，该工具分析和总结增强现实（AR）中的任务执行会话，重点关注参与者的行为和心理负荷。以航空为例，团队展示了HuBar如何揭示飞行员行为和心理状态，帮助培训师和研究人员识别趋势、认识挑战，并增强AR辅助培训项目，以提高现实世界中的学习和表现。
在航空领域，飞行员管理压力的能力至关重要；这可能是安全飞行或灾难的关键。因此，全面的培训对于使飞行员具备处理压力场景的必要技能至关重要。
飞行员教练利用增强现实（AR）系统进行培训，通过引导飞行员经历各种场景，使他们学习适当的反应。这些系统在根据个别学员的心理条件进行定制时表现最佳。
这就是HuBar发挥作用的地方。它是一种尖端的可视化分析工具，旨在通过评估表演者的行为和认知负荷来总结和比较AR中的任务执行会话，例如AR辅助飞行模拟。
HuBar提供对飞行员行为和心理状态的有价值洞察，使研究人员和培训师能够检测模式、识别问题领域，并精炼AR辅助培训项目，以提升学习和现实表现。
HuBar由纽约大学坦登工程学院的一支团队开发，将于2024年10月17日在2024 IEEE可视化与视觉分析会议上展示。
“虽然飞行员培训是一个应用案例，但HuBar并不局限于航空，”主要研究人员、纽约大学计算机科学与工程（CSE）系的坦登教授Claudio Silva说，与诺斯罗普·格鲁曼公司（NGC）合作。“HuBar可视化AR辅助任务的广泛数据，广泛的分析增强了各类复杂场景中的表现和学习结果。”
“HuBar可能对手术、军事行动和工业任务等领域的培训带来显著益处，”与纽约大学可视化和数据分析研究中心（VIDA）共同指导的Silva补充道。
团队在一篇论文中介绍了HuBar，展示其能力，使用航空作为案例，分析来自多个直升机副驾驶的AR飞行模拟数据。此外，他们制作了一个视频来演示该系统。
通过关注两个飞行员受试者，分析揭示了显著差异：一个受试者表现出大多数最佳注意水平且错误较少，而另一位则经常犯错，并表现出负荷不足的情况。
HuBar的深入分析，辅以视频证据，表明表现不佳的副驾驶经常参考手册，暗示对任务不够熟悉。最终，HuBar使培训师能够针对副驾驶可能面临挑战的特定领域，提供改进AR辅助培训方法的见解。
HuBar的特点在于能够分析与成功相关的不线性任务，同时集成和可视化多个复杂数据流。
这包括脑活动（fNIRS）、身体动作（IMU）、注视跟踪、任务程序、错误和认知负荷分类。HuBar的综合方法允许对AR辅助任务中的表演者行为进行全面检查，使研究人员和培训师能够识别认知状态、物理动作与任务执行之间的联系，适用于多种完成策略。
HuBar的互动可视化系统还可以在不同的执行会话和个体之间进行比较，帮助揭示在复杂的非线性过程中可能被传统分析技术忽视的模式和不规律之处。
“我们现在能够准确定位某人何时以及为何在任务中可能经历心理过载或负荷不足，”参与HuBar论文撰写的VIDA研究工程师及博士生Sonia Castelo提到。“如此详细的分析在如此广泛的应用范围内是前所未有的；这类似于拥有透视一个人在任务中思维和身体的能力，提供数据以定制AR辅助系统以满足个体用户需求。”
随着包括微软Hololens、Meta Quest和Apple Vision Pro在内的AR技术的发展，像HuBar这样的工具将对于理解这些创新如何影响人类表现和认知负荷至关重要。
“未来的AR培训系统可能会根据用户的心理状态实时调整，”参与该项目的VIDA博士生Joao Rulff观察到。“HuBar正在帮助我们理解这样适应如何在各种应用和复杂任务结构中发挥作用。”
HuBar是Silva在国防高级研究计划局（DARPA）感知启用任务指导（PTG）项目下进行的研究的一部分。该项目由一项价值500万美元的DARPA合同支持，纽约大学团队旨在促进支持个人完成复杂任务的人工智能技术，同时增强其灵活性并减少错误。本研究的飞行员数据源自NGC，作为DARPA PTG计划的一部分。
