[发明专利]三维视频编码中的元素间运动预测的方法及装置

说明书

相关申请的交叉引用

本申请的权利要求范围要求如下申请的优先权：2012年10月3日递交的申请号为61/744,855，标题为“Inter-Component Motion Prediction for Video Coding”的美国临时案。在此合并参考上述美国临时申请案的全部内容。

技术领域

本发明有关于三维视频编码。更具体地，本发明有关于在三维视频编码中使用相应于纹理图像的运动信息。

背景技术

近年来三维电视已成为技术趋势，其目标在于为观众带来更真实的观看体验。目前已开发各种技术用以致能3D立体视图。且与其他技术相比，多视图(multi-view)视频为3D电视应用的主要技术。传统视频为二维(two-dimensional，2D)媒介，其从摄影机的角度向观众提供场景的单一视图。然而，多视图视频可提供动态场景的任意视点(viewpoint)且为观众提供真实的感官。可对深度图像(depth map)进行编码以渲染(render)三维视图或多视图。

本领域已揭露各种技术以改进3D视频编码的编码效率。也具有发展活动以标准化(standardize)编码技术。例如，国际标准组织(International Organization for Standardization，ISO)内的工作组ISO/IEC JTC1/SC29/WG11正在开发基于3D视频编码标准的高效视频编码(High Efficiency Video Coding，HEVC)。为减少视图间冗余，已采用一种称为视差补偿预测(disparity-compensated prediction，DCP)的技术作为运动补偿预测(motion-compensated prediction，MCP)的替代工具。MCP也称为图像间预测(Inter picture prediction)，其使用不同存取单元(access unit，AU)中相同视图的先前编码图像，而DCP参照图像内预测，其使用相同存取单元中其他视图的已编码图像，如图1所示。将用于DCP的矢量称为视差矢量(disparity vector，DV)，其对比于MCP中使用的运动矢量(MV)。由视图标识符(view identifier，viewID)指示对应于特定摄像机位置的视频图像(110A)和深度图像(110B)。例如，图1中显示了相应于三个视图(即V0,V1和V2)的视频图像和深度图像。属于相同摄像机位置的所有视频图像和深度图像都相应于同一视图ID。如图1中所示，对视频图像以及深度图像(如果存在的话)进行逐个存取单元的编码。AU(120)包括对应于相同时刻的所有视频图像和深度图像。在对同一AU内部的所有图像(纹理及深度)进行编码之后，对每个图像执行运动数据压缩。在此情形中，对于每个AU，用于AU内部的图像的重建过程可依赖于相应于当前AU的全分辨率运动数据。运动数据压缩将仅影响其他AU的重建过程，其中，其他AU参照相应于当前AU的压缩运动数据。

3D-HEVC为HEVC的扩展，其发展用于编码/解码3D视频。将其中一个视图称为基础视图(base view)或独立视图(independent view)，其相对其他视图和深度数据独立编码，使用传统HEVC视频编码器对基础视图中的纹理图像进行编码。

在3D-HEVC版本4.0中，使用合并和跳过模式(Merge and Skip mode)以用于深度编码。对于3D-HEVC中的深度编码，类似于用于纹理元素(texture component)的机制，使用基于混合区块的运动补偿类DCT转换编码结构(hybrid block-based motion-compensated DCT-like transform coding architecture)。用于压缩的基本单元，称为编码单元(coding unit，CU)，为2NX2N的正方块。每个CU可递归地分割为四个更小的CU直至达到预定义最小尺寸。每个CU包含一或多个预测单元(prediction unit，PU)。PU大小可为2Nx2N,2NxN,Nx2N或NxN。当支持不对称运动分区(asymmetric motion partition，AMP)时，PU大小也可为2NxnU,2NxnD,nLx2N或nRx2N。