根据纽约大学坦登工程学院的一项研究，一种新的流媒体技术方法可能显著改善用户在虚拟现实和增强现实环境中的体验。该研究描述了一种直接预测沉浸式3D环境中可见内容的方法，可能在保持视觉质量的同时将带宽要求降低多达7倍。
根据纽约大学坦登工程学院的一项研究，一种新的流媒体技术方法可能显著改善用户在虚拟现实和增强现实环境中的体验。
该研究在2025年4月1日举行的第16届ACM多媒体系统会议上发表，描述了一种直接预测沉浸式3D环境中可见内容的方法，可能在保持视觉质量的同时将带宽要求降低多达7倍。
该技术正在纽约大学坦登国家科学基金会资助的一个项目中应用，旨在将点云视频带入舞蹈教育，使得3D舞蹈教学能够在标准设备上以较低的带宽要求进行流式传输。
领导研究团队的纽约大学坦登电气与计算机工程系教授刘勇（Yong Liu）解释道：“流媒体沉浸内容的基本挑战始终是所需的数据量巨大。传统的视频流传输会发送帧内的所有内容。这种新方法更像是让你的眼睛跟随你在一个房间里移动——它只处理你实际上在看的内容。”
该技术解决了沉浸体验的“视场（FoV）”挑战。目前的AR/VR应用程序需要高带宽——一个由100万个点组成的点云视频（将3D场景呈现为空间中的数据点集）每帧需要超过120兆比特每秒，几乎是标准高清晰度视频带宽的10倍。
与传统方法首先预测用户将要看的位置，然后计算可见内容不同，这种新方法直接预测3D场景中的内容可见性。通过避免这个两步过程，该方法减少了误差累积并提高了预测准确性。
该系统将3D空间划分为“单元”，并将每个单元视为图网络中的一个节点。它使用基于变压器的图神经网络捕捉相邻单元之间的空间关系，使用递归神经网络分析可见性模式随时间的演变。
对于预录的虚拟现实体验，该系统可以在用户2-5秒之前预测将会看到的内容，相较于以前只能准确预测用户视场在几分之一秒之前的系统有了显著改善。
刘说：“这项工作的特别之处在于时间范围。以前的系统只能准确预测用户在几分之一秒之前会看到的内容。而这个团队将其扩展了。”
与现有的长期预测方法相比，研究团队的方法减少了多达50%的预测错误，同时即使对超过100万个点的点云视频，也能保持超过30帧每秒的实时性能。
对消费者而言，这可能意味着更具响应性的AR/VR体验，并减少数据使用，而开发者可以创建更复杂的环境而不需要超快速的互联网连接。
刘表示：“我们正在看到AR/VR从专业应用转向消费者娱乐和日常生产力工具的过渡。带宽一直是一个限制。这项研究有助于解决这一局限。”
研究人员发布了他们的代码以支持持续开发。他们的工作部分得到了美国国家科学基金会（NSF）2312839号拨款的支持。
除了刘之外，论文的作者还包括来自NYU Tandon的电气工程博士候选人李晨（Chen Li）和宗通宇（Tongyu Zong）；来自NYU Tandon的电气与电子工程博士候选人胡悦宇（Yueyu Hu）；及NYU Tandon的教授王耀（Yao Wang），同时担任电气与计算机工程系、生物医学工程系、先进电信技术中心（CATT）和NYU WIRELESS的职务。
