[发明专利]可扩展的统一的音频渲染器

说明书

包括音频解码器、存储器和处理器的设备，可以被配置为执行技术的各个方面。音频解码器可以从比特流解码第一音频数据和第二音频数据。存储器可以存储第一音频数据和第二音频数据。处理器可以将第一音频数据渲染成第一空间域音频数据用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放，以及将第二音频数据渲染成第二空间域音频数据用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放。处理器还可以混合第一空间域音频数据和第二空间域音频数据以获得混合的空间域音频数据，以及将混合的空间域音频数据转换至基于场景的音频数据。

交叉引用

本申请要求享受于2019年1月31日提交的美国专利申请编号 16/264,115的优先权，其要求享受于2018年2月1日提交的标题为“SCALABLE UNIFIED AUDIO RENDERER”的美国临时申请编号 62/625,230的利益，上述申请中的每个申请的全部内容在此通过引用的方式并入本申请，如同全部陈述。

技术领域

本公开内容涉及对诸如音频数据的媒体数据的处理。

背景技术

高阶立体混响(HOA)信号(经常通过多个球面谐波系数(SHC)或者其它层级元素表示)是声场的三维表示。HOA或者SHC表示可以以不依赖用以回放从SHC信号渲染的多通道音频信号的本地扬声器几何结构的方式来表示声场。SHC信号还可以促进向后兼容性，因为SHC信号可以被渲染至众所周知的以及被高度采用的多通道格式，诸如5.1音频通道格式或者 7.1音频通道格式。SHC表示可以因此使得还适应向后兼容性的声场的更好的表示成为可能。

发明内容

本公开内容通常涉及包括虚拟现实(VR)、混合现实(MR)、增强现实(AR)、计算机视觉以及图像系统的计算机介导现实系统的用户体验的听觉方面。

在一个示例中，技术的各个方面针对被配置为支持统一的音频渲染的设备，该设备包括：被配置为从比特流解码在时间帧内的第一音频数据以及在时间帧内的第二音频数据的音频解码器；被配置为存储第一音频数据和第二音频数据的存储器；以及一个或多个处理器，其被配置为：将第一音频数据渲染成第一空间域音频数据，用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放；将第二音频数据渲染成第二空间域音频数据，用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放；混合第一空间域音频数据以及第二空间域音频数据，以获得混合的空间域音频数据；以及将混合的空间域音频数据转换至基于场景的音频数据。

在另一示例中，技术的各个方面针对支持统一的音频数据渲染的方法，该方法包括：由计算设备以及从比特流解码在时间帧内的第一音频数据以及在时间帧内的第二音频数据；由计算设备将第一音频数据渲染成第一空间域音频数据，用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放；由计算设备将第二音频数据渲染成第二空间域音频数据，用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放；由计算设备混合第一空间域音频数据以及第二空间域音频数据以获得混合的空间域音频数据；以及由计算设备将混合的空间域音频数据转换至基于场景的音频数据。

在另一示例中，技术的各个方面针对被配置为支持统一的音频渲染的设备，该设备包括：用于从比特流解码在时间帧内的第一音频数据以及在时间帧内的第二音频数据的单元；用于将第一音频数据渲染成第一空间域音频数据用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放的单元；用于将第二音频数据渲染成第二空间域音频数据用于由在虚拟扬声器位置集合处的虚拟扬声器进行的回放的单元；用于混合第一空间域音频数据以及第二空间域音频数据以获得混合的空间域音频数据的单元；以及用于将混合的空间域音频数据转换至基于场景的音频数据的单元。