[发明专利]声场相关渲染

说明书

一种装置，包括被配置为执行以下操作的部件：获得至少两个音频信号；确定至少两个音频信号的类型；基于至少两个音频信号的所确定的类型，处理至少两个音频信号以被配置为被渲染。

技术领域

本申请涉及用于与声场相关的音频表示和渲染的装置和方法，但非排他地涉及用于音频解码器的音频表示的装置和方法。

背景技术

沉浸式音频编解码器正被实现，以支持范围从低比特率操作到透明性的大量操作点。这种编解码器的示例是沉浸式语音和音频服务(IVAS)编解码器，其被设计为适合于在诸如3GPP 4G/5G网络之类的通信网络上使用，包括在诸如例如用于虚拟现实(VR)的沉浸式语音和音频之类的沉浸式服务中使用。该音频编解码器被预期处理语音、音乐和通用音频的编码、解码和渲染。此外还被预期支持基于通道的音频和基于场景的音频输入，包括关于声场和声源的空间信息。编解码器还被预期以低延迟进行操作，以使能会话服务并在各种传输条件下支持高差错鲁棒性。

输入信号可以以所支持的多个格式之一(以及以一些所允许的格式组合)被呈现给IVAS编码器。例如，单声道音频信号(没有元数据)可以使用增强型语音服务(EVS)编码器来编码。其他输入格式可以使用IVAS编码工具。至少一些输入可以使用元数据辅助空间音频(MASA)工具或任何合适的基于空间元数据的方案。这是适用于空间音频处理的参数空间音频格式。参数空间音频处理是使用一组参数来描述声音(或声音场景)的空间方面的音频信号处理领域。例如，在从麦克风阵列进行参数化空间音频捕获时，从麦克风阵列信号估计一组参数是一种典型且有效的选择，该组参数诸如是频带中声音的方向、以及频带中被捕获声音的方向性与非方向性部分的比率。众所周知，这些参数很好地描述了在麦克风阵列的位置处的被捕获声音的感知空间特性。这些参数可以相应地在空间声音的合成中使用，以用于双耳式耳机、扬声器、或诸如全景环绕声(Ambisonics)之类的其他格式。

例如，可以存在两个通道(立体声)的音频信号和空间元数据。此外，空间元数据可以定义参数，诸如：方向索引(Direction index)，描述了声音按时频参数间隔的到达方向；直接对总能量比(Direct-to-total energy ratio)，描述了针对方向索引(即，时频子帧)的能量比；扩展相干性(Spread coherence)，描述了针对方向索引(即，时频子帧)的能量扩展；扩散对总能量比(Diffuse-to-total energy ratio)，描述了非方向性声音在周围方向上的能量比；环绕相干性(Surround coherence)，描述了非方向性声音在在周围方向上的相干性；剩余对总能量比(Remainder-to-total energy ratio)，描述了剩余部分(诸如麦克风噪声)声能的能量比，以满足能量比之和为1的要求；以及距离(Distance)，以对数尺度描述了以米为单位的源自方向索引(即，时频子帧)的声音的距离。

IVAS流可以被解码并被渲染为各种输出格式，包括双声道输出、多通道输出、以及Ambisonic(FOA/HOA)输出。另外，可以存在用于外部渲染的接口，其中输出格式可以对应于例如输入格式。

由于空间(例如MASA)元数据以与输出格式无关的方式描绘期望的空间音频感知，因此，任何具有空间元数据的流可以被灵活地渲染成任何一种上述的输出格式。然而，由于MASA流可以源自各种输入，因此，解码器接收的传输音频信号可具有不同的特性。因此，解码器必须考虑这些方面，以便能够产生最佳的音频质量。

发明内容

根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：获得至少两个音频信号；确定至少两个音频信号的类型；基于至少两个音频信号的所确定的类型，处理至少两个音频信号以被配置为被渲染。

至少两个音频信号可以是以下中的一个：传输音频信号；以及先前处理的音频信号。

该部件可以被配置为获得与至少两个音频信号相关联的至少一个参数。