[发明专利]一种3D视频深度图像帧内预测模式选择方法及系统

说明书

技术领域

本发明属于视频编解码技术邻域，具体涉及一种3D视频深度图像帧内预测模式选择方法及系统。

背景技术

2013年1月联合视频开发组发布了新一代视频编码国际标准HEVC，也称为H.265。H.265与上一代视频编码标准H.264一样都采用基于混合块的编码结构，但是H.265引入了编码单元结构、变换单元结构、帧间非对称分割方式、统一帧内编码、合并(merge)模式、改进的运动矢量编码等新技术。由于新技术的引入，使得H.265与H.264相比，新的视频编码标准HEVC在获得相同重建视频质量的情况下，可以减少一半码率。H.265中的编码单元是H.264中宏块概念的扩展，其大小可以为64x64、32x32、16x16和8x8。对于平坦的区域选择大的编码单元可以节省码率；而纹理区域则选择小的编码单元可以得到更好的预测结果。HEVC的编码器首先将预编码图像划分为许多大小为64x64的最大编码单元(LCU)。然后，对于每一个最大编码单元，编码器将递归地按4-叉树的方式来决定最大编码单元中最优CU划分。为了获得最大编码单元的最优CU划分，编码器需要进行85次不同大小CU的率失真代价的计算。由此可见，基于编码单元的4-叉树编码结构增加了H.265的计算复杂度(包括帧内预测)。在帧内预测技术中，对于大小为8x8的CU，编码器允许其进一步分割为4个相等的大小为4x4的预测单元(PU)；而对于其他大小的CU不能进一步分割，即PU的大小等于CU的大小。为了更好的利用空间的相关性，H.265的帧内预测技术将帧内预测模式增加到35种，如图1所示。在这35种帧内预测模式中，33种角度帧内预测模式(帧内预测模式2至帧内预测模式34)用于纹理区域的帧内预测，而DC和Planar两种帧内预测模式用于平坦区域的帧内预测。由于采用了新的编码结构，H.265可选的帧内预测的邻近参考像素为左下、左、左上、上、右上的邻近像素，如图2所示。由于帧内预测模式的增多，每个PU都需要进行35次率失真计算才可以找到PU最优的帧内预测模式，这极大地增加了HEVC帧内预测编码的计算复杂度。

3D-HEVC是HEVC的3D视频编码的最重要的扩展标准。3D-HEVC的3D视频采用编码端和解码端非对称的多视点加深度图像的格式。多视点加深度的3D视频可以在解码端利用DIBR技术合成任意位置的虚拟视点，该格式因为此优点带来的广阔应用前景而备受学术界和工业界的关注。在多视点视频加深度视频格式的深度图像中，深度图像的像素值反映的是场景中的点距离摄像机的远近。因此，深度图像和自然图像有很大的不同，主要体现为以下三个方面：1)深度图像大部分为平坦的区域，这些平坦的区域被锐利的边缘所分割；2)深度图像有限的锐利边缘的失真将在解码端的合成视角物体边界周围引起振铃效应，降低了合成视角中视频的主观和客观质量；3)深度图像并非用来给用户直接观看，而是用来合成中间的虚拟视角。基于前述三方面的不同特点，保留深度图像中物体的边缘成为深度图像编码的重要工作内容之一。为此，3D-HEVC除继承了上述HEVC的新技术(包括帧内预测技术和编码单元)之外，另加入了一系列的新技术来尽可能的保留深度图像的锐利边缘，同时尽可能地保证编码的性能。其中最重要的技术就是4种新的深度模型模式，分别为显式的楔形分割模式(DMM1)、隐式的楔形分割模式(DMM3)、contour分割模式(DMM4)、边界链式编码模式(RBC)。楔形分割模式(包括前述的显式楔形分割模式和隐式的楔形分割模式)如图3所示，图3包含了连续时的楔形分割、离散时的楔形分割和最终的楔形分割模式。如图3，楔形分割模式是通过一条直线(起点为S、终点为E)将预测块分割为P₁和P₂两个部分,。楔形分割的分割直线有6种方向，如图4所示分别为从左边界到上边界、从右边界到上边界、从下边界到右边界、从左边界到下边界、从上边界到下边界和从左边界到右边界。为了进一步的提高压缩比，楔形分割模式将不传递预测残差的量化变换系数，而仅仅传递两个像素值。楔形分割模式的最优模式的选取需要计算所有起点和终点组合相对应的楔形分割模式的率失真代价。大小为4x4的预测块一共有86种楔形分割模式；大小为8x8的预测块一共有766种楔形分割模式；大小为16x16的预测块一共有1350种楔形分割模式；大小为32x32的预测块一共有1503种楔形分割模式。对于每一个PU,3D-HEVC最优帧内预测模式的选择既要计算35种HEVC帧内预测模式的率失真代价，还要计算上述数目的显式的楔形分割模式、上述数目的隐式楔形分割模式、区域边界链式模式和contour模式的率失真代价。由于帧内预测模式的倍增，导致了目前3D-HEVC的计算复杂度根本无法实现3D视频的实时应用。此外，基于前述深度图像的第3)点不同特点，3D-HEVC引入了新的编码参数的评价方法，即采用合成视角的率失真代价选择编码参数(包括最优的帧内预测模式和最优CU的划分)。计算合成视角的代价需要通过渲染得到合成视角，而渲染过程是十分耗时的。因此，3D-HEVC帧内预测模式的最优帧内预测模式的选择中为了得到合成视角而引入了计算复杂度很高的渲染过程，也是3D-HEVC帧内预测编码计算效率低下的一个重要原因。3D-HEVC为了降低码率，引入了SDC技术。该技术仅仅使用在Planar模式和显式的楔形分割模式上构成了两个新模式SDC_Planar模式和SDC_DMM1模式。两个新模式仅允许传递像素值的有效索引值。而编码器需要额外进行两次率失真代价的计算，这也影响了深度帧内预测模式的计算复杂度，但是不是最主要的原因之一。