[发明专利]用于处理虚拟现实环境中的听音位置之间的全局过渡的方法和系统

说明书

描述了一种用于在虚拟现实渲染环境(180)中渲染音频的方法(900)。所述方法(900)包括从围绕监听器(181)的听音位置(201)的球体(114)上的原始源位置渲染(901)原始音频场景(111)的原始音频源(113)的原始音频信号。此外，所述方法(900)包括确定(902)所述监听器(181)从所述原始音频场景(111)内的所述听音位置(201)移动到不同的目的地音频场景(112)内的听音位置(202)。此外，所述方法(900)包括将淡出增益应用(903)到所述原始音频信号以确定经修改的原始音频信号；以及从围绕所述听音位置(201，202)的所述球体(114)上的所述原始源位置渲染(903)所述原始音频源(113)的所述经修改的原始音频信号。

相关申请交叉引用

本申请要求在此引入作为参考的以下优先权申请的优先权：2017年12月18日提交的美国临时申请62/599,841(参考文献：D17085USP1)和2017年12月18日提交的欧洲申请17208088.9(参考文献：D17085EP)。

技术领域

本文档涉及在虚拟现实(VR)渲染环境中对听觉视口和/或听音位置之间的过渡的有效且一致的处理。

背景技术

虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用正在快速发展成包括能够从不同视点/视角或听音位置享受的声源和场景的日益细化的声学模型。两种不同类的灵活音频表示可以例如被用于VR应用：声场表示和基于对象的表示。声场表示是对听音位置处的入射波前进行编码的基于物理的方案。例如，诸如B格式或更高阶高保真度立体声响复制(HOA)的方案使用球谐函数分解来表示空间波前。基于对象的方案将复杂听觉场景表示为包括音频波形或音频信号和可能随时间变化的关联参数或元数据的奇异元素的集合。

享受VR、AR和MR应用可以包括由用户体验不同听觉视点或视角。例如，可以基于使用6个自由度(DoF)的机制来提供基于房间的虚拟现实。图1图示了6个DoF交互的示例，其示出了平移移动(向前/向后、向上/向下和向左/向右)和旋转移动(俯仰、偏航和滚动)。与限于头部旋转的3DoF球形视频体验不同，为6DoF交互创建的内容除了头部旋转之外还允许虚拟环境内的导航(例如，在房间内物理走动)。这能够基于位置跟踪器(例如，基于照相机)和方向跟踪器(例如，陀螺仪和/或加速度计)来实现。6DoF跟踪技术可以在更高端桌面VR系统(例如，VR、Oculus Rift、HTC Vive)上以及在高端移动VR平台(例如，GoogleTango)上提供。用户对声音或音频源的方向性和空间范围的体验对于6DoF体验的真实性是关键的，特别是对导航通过场景和虚拟音频源周围的体验。

可用的音频渲染系统(诸如MPEG-H 3D音频渲染器)通常被限于3DoF的渲染(即，由监听器的头部移动引起的音频场景的旋转移动)。监听器的听音位置的平移更改和关联DoF通常不能由此类渲染器处理。

本文档涉及为在音频渲染的上下文中处理平移移动提供资源高效的方法和系统的技术问题。

发明内容

根据一方面，描述了一种用于在虚拟现实渲染环境中渲染音频的方法。该方法包括从围绕监听器的听音位置的球体上的原始源位置渲染原始音频场景的原始音频源的原始音频信号。此外，该方法包括确定监听器从原始音频场景内的听音位置移动到不同目的地音频场景内的听音位置。另外，该方法包括将淡出增益应用到原始音频信号以确定经修改的原始音频信号。该方法进一步包括从围绕听音位置的球体上的原始源位置渲染原始音频源的经修改的原始音频信号。