[发明专利]梯度图引导的基于深度重采样3D‑HEVC编解码方法

说明书

技术领域

本发明属于3D视频编码技术领域，尤其涉及一种梯度图引导的基于深度重采样3D-HEVC编解码方法。

背景技术

近年以来，许多基于3D的视频应用，例如移动3D视频，自由视点视频和立体视频显示等技术得到了快速发展。但是，基于多视点技术的3D视频应用带来了大量的视频数据需要存储或传输，制约了其进一步的发展。随着基于HEVC的多视点加深度数据的编码标准3D-HEVC的正式发布，带来了3D视频的高效压缩编码。然而，随着高清和超高清视频的应用，用户数量的不断增加，视频数据量的不断增加已不可避免，而视频传输的信道带宽是有限的，因此有必要采用新方法降低码率。基于深度重采样的3D-HEVC视频编解码方法是一种能够进一步提高3D视频压缩效率的方法，因而受到广泛关注。

现有的基于深度重采样的3D-HEVC视频编码方法，其深度下采样方法常用最近邻域下采样方法(nearest neighbor downsampling)，双线性下采样方法(bilinear downsampling)或者双三次下采样方法(bicubic downsampling)。这些下采样方法的共同缺点是未考虑下采样过程中边缘像素的深度值的保护，因此破坏了原始深度图的边缘的深度值，这样就会造成上采样后的深度图质量的下降。而常用的深度上采样方法，即同时匹配纹理图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。他们的缺点是算法的复杂度高，难以实现视频实时处理，而且未考虑边缘的连续性导致容易产生断裂的边缘。另外，深度图的特点是由显著的边缘分割各个内部平坦的物体，因此深度图的梯度特征是边缘像素具有较高的梯度，而非边缘像素具有较低的梯度，利用这个特征可以很好的区别边缘像素和非边缘像素。因此本发明提出了新的深度下采样方法。首先基于梯度图将分块的深度图分类为边缘块和非边缘块，然后对这些块内的不同像素集合采用中值滤波方法，能够较好的保留原始深度图中边缘的深度值；同时作深度上采样的时候，为了恢复连续的深度边缘，采用基于梯度图引导的深度估值方法。首先将深度图每个像素扩展为矩形块，然后估计矩形块四个顶角的深度值。比较被扩展像素的梯度与其它三个邻域像素的梯度均值，如果前者大于后者，说明被扩展像素不同于其邻域像素，应该是边缘像素，其顶角深度值即为被扩展像素的深度值；反之，被扩展像素与其邻域像素相似，则应为非边缘像素，其顶角深度值为被扩展像素与其它邻域像素深度值的中值。然后在水平，垂直和对角线方向上使用已估值的顶角深度值进行插值。本发明提出的上采样方法能够很好地保护边缘并使得边缘具有连续性。此外，本发明提出的深度视频分块下采样和扩展上采样的方法，使得可以根据缩放系数灵活地对深度图进行采样。本发明提出的深度视频下采样方法和上采样方法，其算法复杂度低，适合在3D-HEVC编码器和解码器中使用。

发明内容

本发明的目的是针对现有的基于深度重采样的3D-HEVC视频编码方法的不足，提出了一种梯度图引导的基于深度重采样3D-HEVC编解码方法。

本发明方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码。为了保留原始深度图中边缘的深度值，对于深度视频下采样，首先生成它的梯度图，按照缩放系数把原始梯度图划分为互不重叠的块。在梯度图引导下将深度图划分为边缘块和非边缘块，最后对这些块内的不同像素集合采用中值滤波方法得到下采样的深度值。为了得到连续的边缘，对于深度视频上采样，首先生成它的梯度图，然后按照缩放系数把低分辨率深度图中的每个像素扩展为矩形块，得到上采样深度图的模板。接着估计矩形块的四个顶角的深度值，比较被扩展像素的梯度和其它三个邻域像素梯度的均值，若前者大于后者，则对应位置的顶角深度值为被扩展像素的深度值；若后者大于前者，则对应位置的顶角深度值为被扩展像素和其它三个邻域像素的深度值的中值。然后，利用四个顶角组成的顶角对的平均深度值，对水平，垂直，对角线上的空白像素进行插值。剩余的空白像素采用其最近距离的已插值的深度值。最后用典型的基于深度图渲染算法对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频。

本发明包括编码方法和解码方法。

编码方法的具体步骤是：

步骤(1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D-HEVC编码器；

步骤(2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入3D-HEVC编码器；

步骤(3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：