[发明专利]用于控制多声道音频帧丢失隐藏的方法和装置

说明书

提供了一种在解码设备中对多声道音频信号的丢失或损坏多声道音频帧进行近似的方法。该设备可生成下混合错误隐藏帧，并将该帧变换到频域中以生成变换后下混合错误隐藏帧。该设备可对变换后的帧去相关以生成去相关隐藏帧。该设备可获得先前接收的多声道音频信号帧的已存储残差信号的残差信号频谱，并使用残差信号频谱生成能量被调整的去相关残差信号隐藏帧。该设备可获得多声道音频替换参数集，并将这些帧和替换参数提供给音频合成组件以生成合成多声道音频帧。该设备执行音频帧的逆频域变换以生成丢失或损坏音频帧的替换帧。

技术领域

本申请涉及用于针对立体声或多声道音频编码和解码来控制分组丢失隐藏的方法和装置。

背景技术

尽管电信网络的容量在不断增加，但限制每个通信信道的需要带宽仍然有极大兴趣。在移动网络中，用于每次呼叫的传输带宽越小，移动设备和基站的功耗就越低。这对于移动运营商转化成对能源和成本的节约，而最终用户将体验更长的电池寿命和更长的通话时间。进一步地，由于每个用户消耗的带宽更少，移动网络可并行为更大数量的用户提供服务。

通过现代音乐播放系统和电影院，大多数听众习惯于高质量沉浸式音频。在移动电信服务中，对无线电资源的约束和处理延迟已使质量保持在较低水平，并且大多数语音服务仍然仅传递单声道声音。最近，在需要单声道之外的沉浸式声音再现的虚拟/混合/增强现实的环境中，用于通信服务的立体声和多声道声音获得了动力。在电信网络的带宽约束内渲染高质量空间声音仍然是挑战。另外，声音再现还需要应对变化的信道条件，其中偶尔的数据分组可能例如由于网络拥塞或小区覆盖范围差而丢失。

在典型的立体声录音中，声道对表现出高度的相似性或相关性。立体声编码方案[1]的一些实施例可以通过采用参数编码来利用该相关性，其中单个声道被高质量地编码并且被补充有允许全立体图像的重建的参数描述。将声道对减少成单个声道的过程通常被称为下混合，所产生的声道通常被称为下混合声道。下混合过程通常通过在混合声道之前对准声道间时间差(ITD)和声道间相位差(IPD)来尝试维持能量。为了维持输入信号的能量平衡，还可以测量声道间电平差(ILD)。然后，ITD、IPD和ILD被编码，并且可以在解码器处重建立体声声道对时被用在反向的上混合过程中。ITD、IPD和ILD参数描述声道对的相关分量，而立体声声道对也可以包括不能从下混合中重建的非相关分量。这个非相关分量可以用声道间相干参数(ICC)来表示。非相关分量可以在立体声解码器处通过使解码的下混合声道通过去相关滤波器来被合成，去相关滤波器输出与解码的下混合具有低相关性的信号。去相关分量的强度可以用ICC参数来控制。

尽管参数立体声再现在低比特率下给出了良好的质量，但是由于参数模型的限制，质量随着比特率的增加而趋于饱和。为了克服该问题，可以对非相关分量进行编码。该编码是通过在编码器中模拟立体声重建并从输入声道中减去重建信号来实现的，从而产生残差信号。如果下混合变换是可逆的，则对于立体声声道的情况，残差信号可以仅由单个声道表示。通常，残差信号编码的目标是在心理声学上更相关的较低频率，而较高频率可以用去相关器方法来合成。图2是描绘用于包括残差编码器的参数立体声编解码器的常规设置的实施例的框图。在图2中，编码器接收输入信号，在立体声处理和下混合块210中执行上述的处理，经由单声道编码器220对单声道输出进行编码，经由残差编码器230对残差信号进行编码，并且对ITD、IPD、ILD和ICC参数进行编码。解码器接收已编码单声道输出、已编码残差信号和已编码参数。解码器经由残差解码器250对残差信号进行解码，并经由单声道解码器260对单声道信号进行解码。参数合成块270接收已解码单声道信号和已解码残差信号，并基于参数来输出立体声声道CH1和CH2。

类似的原理适用于诸如5.1和7.1.4之类的多声道音频以及诸如高保真立体声(Ambisonics)或空间音频对象编码之类的空间音频表示。通过利用声道之间的相关性并将减少的声道集与用于在解码器处的声道重建或空间音频渲染的元数据或参数捆绑在一起，可以减少声道数量。