[发明专利]针对多视角视频内容的运动跳跃和单环路编码

说明书

技术领域

本发明的示例性实施方式一般涉及视频编码，更具体地，本发明涉及针对多视角视频内容的视频编码。

背景技术

本部分意在为权利要求书中阐述的本发明提供背景或上下文。此处的描述可以包括可被探究的原理，但是这些原理并不必须是以前已经构思过或者探究过的那些。因此，除非在此指出，否则在本部分中所描述的并不是本申请说明书和权利要求书的现有技术，也不因为包括在此部分中就承认是现有技术。

视频编码标准包括ITU-T H.261、ISO/IEC运动图片专家组(MPEG)-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Video、ITU-TH.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也称为ISO/IECMPEG-4高级视频编码(AVC))。另外，当前正在努力开发新的视频编码标准。正在开发的一个这种标准是可伸缩视频编码(SVC)标准，其将成为对H.264/AVC的可伸缩扩展。另一正在开发的这种标准是多视角视频编码(MVC)标准，其将成为H.264/AVC的另一种扩展。

在多视角视频编码中，从不同照相机输出的视频序列被编码成一个比特流，其中每个视频序列对应于不同的视角。在解码之后，为了显示特定视角，重建属于该视角的已解码图片并进行显示。还有可能对不止一个视角进行重建和显示。多视角视频编码具有广泛的应用，包括自由视点视频/电视、3D TV和监视应用。目前，ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组的联合视频组(JVT)正在从事开发MVC标准的工作，其正成为H.264/AVC的扩展。这些标准在此分别称为MVC和AVC。

MVC的最新工作草案在2007年6-7月于瑞士日内瓦举办的第24次JVT会议中提出的JVT-X209，“Joint Draft 4.0 on MultiviewVideo Coding”中进行了描述，其可从ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X209.zip得到。除了在MVC的工作草案中定义的特征之外，其他潜在的特征，尤其是关注于编码工具的那些特征在联合多视角视频模型(JMVM)中进行了描述。最新版本的JMVM在2007年6-7月于瑞士日内瓦举办的第24次JVT会议中提出的JVT-X207，“Joint Multiview Video Model(JMVM)5.0”中进行了描述，其可从ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X207.zip得到。

图1是示出了典型的MVC解码顺序(也即，比特流顺序)的表示。解码顺序安排称为时间优先编码。每个存取单元定义为包含针对一个输出时间实例的所有视角的编码图片。应当注意，存取单元的解码顺序可以与输出顺序或显示顺序不相同。图2中示出了用于多视角视频编码的典型的MVC预测(包括每个视角内的图片间预测和视角间预测二者)结构。在图2中，通过箭头指示预测，其中每个被指向的对象使用相应的来源对象作为预测参考。

传统上，在MVC中使用多环路解码。在多环路解码中，为了解码目标视角，除了目标视角本身之外，还需要利用运动补偿环路对目标视角进行视角间预测所需的每个视角进行完全的重建。例如，如果只输出视角1(图2中示出为S1)，则视角0和视角2中的所有图片必须被完全地重建。多环路解码相比于单视角编码(其中每个视角使用例如H.264/AVC独立地编码成其自己的比特流)需要多得多的计算和存储器。这是因为，在多环路解码中，属于其他视角但却是视角间预测所需要的所有图片必须被完全地重建并且存储在解码图片缓存器中。

在MVC联合草案(JD)4.0中，在序列参数集合(SPS)MVC扩展中规定了视角依赖关系。针对锚图片和非锚图片的依赖关系是单独规定的。因此，锚图片和非锚图片可以具有不同的视角依赖关系。然而，对于参考相同SPS的图片集合，所有锚图片必须具有相同的视角依赖关系，而且所有非锚图片必须具有相同的视角依赖关系。在SPS MVC扩展中，针对在RefPicList0和RefPicList1中用作参考图片的视角，用信号单独发送给各依赖视角。

存在多个仅需要输出编码视角的子集的用例。这些特定视角称为目标视角或输出视角。目标视角可以依赖于其他视角，这些其他视角不是用于输出，或者说不是用于解码的。目标视角所依赖的但是不用于输出的这些特定视角称为依赖视角。