[发明专利]沉浸式音频服务中的音频处理

说明书

本公开大体上涉及音频场景的定向音频的捕获、声学预处理、编码、解码及呈现。特定来说，本公开涉及一种适于响应于捕获所述定向音频的麦克风系统的空间数据修改捕获的定向音频的定向性质的装置。本公开进一步涉及经配置以响应于接收的空间数据修改接收的定向音频的定向性质的呈现装置。

相关申请案的交叉引用

本申请案主张以下美国临时专利申请案的优先权权益：2018年11月13日申请的第62/760,262号；2019年1月17日申请的第62/793,666号、2019年1月22日申请的第62/795,236号；及2019年1月28日申请的第62/797,563号，所述专利申请案以全文引用方式并入本文中。

技术领域

本公开大体上涉及音频场景的定向音频的捕获、声学预处理、编码、解码及呈现。特定来说，本公开涉及一种适于响应于捕获所述定向音频的麦克风系统的空间数据修改捕获的定向音频的定向性质的装置。本公开进一步涉及经配置以响应于接收的空间数据修改接收的定向音频的定向性质的呈现装置。

背景技术

将4G/5G高速无线接入引入到电信网络中，结合日益强大的硬件平台的可用性，为比以往任何时候更快且更容易地部署先进的通信及多媒体服务提供了基础。

第三代合作伙伴计划(3GPP)增强语音服务(EVS)编解码器通过引入超宽带(SWB)及全带(FB)语音及音频编码，结合改进的包丢失复原性，极大地改进用户体验。然而，扩展的音频带宽只是真正沉浸式体验所需的维度之一。在理想情况下，需要超出EVS目前提供的单声道及多声道的支持来以资源高效方式将用户沉浸在令人信服的虚拟世界中。

另外，3GPP中当前指定的音频编解码器为立体声内容提供合适的质量及压缩，但缺乏会话语音及电话会议所需的会话特征(例如，足够低的延时)。这些编码器还缺乏沉浸式服务所必需的多声道功能，例如实况及用户生成的内容流、虚拟现实(VR)及沉浸式电话会议。

为了填补这一技术空白并满足人们对丰富多媒体服务日益增长的需求，提出对用于沉浸式语音及音频服务(IVAS)的EVS编解码器的扩展的开发。另外，通过4G/5G实现的电话会议应用将受益于用作支持多流编码(例如，基于声道、对象及场景的音频)的改进的会话编码器的IVAS编解码器。此下一代编解码器的使用案例包含但不限于会话语音、多流电话会议、VR会话及用户生成的实况及非实况内容流。

因此，IVAS预期提供沉浸式及VR、AR及/或XR用户体验。在许多这些应用中，捕获定向(沉浸式)音频的装置(例如，移动电话)在许多情况下可能在会话期间相对于声学场景移动，从而导致捕获的音频场景的空间旋转及/或平移移动。取决于所提供的体验的种类，例如沉浸式、VR、AR或XR，且取决于特定的使用案例，这种行为可能是期望或不期望的。例如，如果每当捕获装置旋转时呈现场景总是旋转，那么可能会使收听者感到烦恼。在最坏的情况下，可能会引起运动病。

因此，需要在此上下文中进行改进。

附图说明

现在将参考附图来描述实例实施例，其上：

图1展示根据实施例的用于编码定向音频的方法，

图2展示根据实施例的用于呈现定向音频的方法，

图3展示根据实施例的经配置以执行图1的方法的编码器装置，

图4展示根据实施例的经配置以执行图2的方法的呈现装置，

图5展示根据实施例的包括图3及图4的装置的系统，

图6展示根据实施例的物理VR会议场景，

图7展示根据实施例的虚拟会议空间。