[发明专利]用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法

说明书

技术领域

本发明总体上涉及视频编码。更具体地，本发明涉及支持扩展空间可伸缩性(ESS)的可伸缩视频编码。

背景技术

该部分旨在提供在权利要求中记载的本发明的背景或上下文。此处的描述可以包括可推广的概念，但是不一定包括先前已经构思或推广的概念。因此，除非此处另有指示，在该部分中所描述的内容对本申请中的说明书和权利要求来说不是现有技术，并且不认为通过包括在该部分中而成为现有技术。

视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual(视觉)、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)。另外，当前进行的工作是针对新视频编码标准的开发。正在开发的一个这样的标准是可伸缩视频编码(SVC)标准，其将变成对H.264/AVC的可伸缩扩展。正在开发的另一个标准是多视频编码标准(MVC)，其也是H.264/AVC的扩展。另一个这样的工作涉及中文视频编码标准的开发。

在第22届JVT会议(Marrakech，Morocco，2007年1月)的JVT-V201，“Joint Draft 9 of SVC Amendment”中描述了SVC的最新草案(可从http://ftp3.itu.ch/av-arch/jvt-site/2007_01_Marrakech/JVT-V201.zip获得，通过引用的方式将其全部内容合并于此)。

在可伸缩视频编码(SVC)中，可以将视频信号编码到基层以及按照分层方式构造的一个或多个增强层。增强层增强了时间分辨率(即，帧速率)、空间分辨率，或者由另一层或另一层的一部分所表示的视频内容的质量。每一层连同其依赖层是在特定的空间分辨率、时间分辨率和质量水平下对视频信号的一个表示。可伸缩层连同其依赖层被称为“可伸缩层表示”。与可伸缩层表示相对应的可伸缩比特流的部分可以被提取并被解码以产生在特定保真度下的原始信号的表示。

H.264/高级视频编码(AVC)标准的附录G涉及可伸缩视频编码(SVC)。特别地，附录G包括被称为扩展空间可伸缩性(ESS)的特征，其提供了在没有维持基层宏块(MB)和增强层宏块的边缘对准的情形下对信号的编码和解码。当利用1或2的比率实现空间伸缩并且在不同层上对准宏块边缘时，这被认为是空间可伸缩性的特别情况。

例如，当利用二进制分辨率(dyadic resolution)伸缩(即，根据2的幂次的伸缩分辨率)时，可以维持宏块的边缘对准。该现象在图1中进行了说明，其中，在左侧的半分辨率帧(基层帧1000)被上采样(upsample)以便给出在右侧的帧(增强层帧1100)的全分辨率版本。考虑在基层帧1000中的宏块MB₀，在上采样之后的该宏块的边界被示为在增强层帧1100中的外部边界。在该情形下，注意到，被上采样的宏块正好包含处在增强层处的四个全分辨率宏块-MB₁、MB₂、MB₃和MB₄。这四个增强层宏块MB₁、MB₂、MB₃和MB₄的边缘正好对应于宏块MB₀的被上采样的边界。重要的是，所标识的基层宏块是覆盖每个增强层宏块MB₁、MB₂、MB₃和MB₄的仅有的基层宏块。换句话说，不需要其它基层宏块来用于预测MB₁、MB₂、MB₃和MB₄。

另一方面，在非二进制可伸缩性的情况下的情形完全不同。这在图2中说明了1.5的伸缩因子。在这种情况下，在较高分辨率增强层帧1100中从16×16到24×24来上采样在基层帧1000中的基层宏块MB₁₀和MB₂₀。然而，考虑增强层宏块MB₃₀，清楚地观察到：该宏块由两个不同的被上采样的宏块MB₁₀和MB₂₀来覆盖。因而，为了形成对增强层宏块MB₃₀的预测，需要两个基层宏块MB₁₀和MB₂₀。事实上，取决于所使用的伸缩因子，可以由高达四个基层宏块来覆盖单个增强层宏块。