[发明专利]面向3D视频编码的基于深度增强的重采样方法

说明书

本发明涉及一种面向3D视频编码的基于深度增强的重采样方法。本发明方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；对深度视频编码前采用基于频率选择的方法对深度视频进行下采样，对解码后的深度视频，先采用预插值方法生成原始分辨率的深度视频，再采用基于深度图可信边缘引导的深度增强方法对深度视频进行上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明方法减少了重采样的深度视频在3D视频编解码过程中的失真，保护了深度视频的边缘，提高了合成视点的质量。

技术领域

本发明属于3D视频处理技术领域，尤其涉及一种面向3D视频编码的基于深度增强的重采样方法。

背景技术

随着3D视频技术的广泛应用，给人们带来了立体的视觉感受。然而，高质量的3D视频显示常常需要大量的多视点视频，其庞大的数据量在实际应用中难以实现。因此，多视点加深度视频是目前主要的3D视频格式，它由一些彩色视频及其对应的深度视频组成，可以运用视点合成技术获得其它虚拟的多视点视频，增加了视点数量的同时有效减少了3D视频的数据量。随着基于HEVC的多视点加深度视频编码标准3D-HEVC的正式发布，带来了3D视频的高效压缩编码。然而，随着高清和超高清视频的应用，用户数量的不断增加，庞大的3D视频数据量对于有限的存储容量和传输带宽来说构成了强大的挑战。深度图是由较大的平坦区域和锐利的边缘组成的灰度图，特别适合于作多分辨率的转换，从而提高3D视频编码的效率。因此，面向3D视频编码的深度重采样方法的研究对于提高3D视频的获取，压缩和显示技术具有重要的意义。

现有的面向3D视频编码的深度重采样方法，其深度下采样方法常用最近邻域下采样方法，双线性下采样方法或者双三次下采样方法。这些下采样方法的共同缺点是未能充分考虑深度图中的深度值的分布特点，容易导致重要深度信息的丢失。当重新对深度图上采样后，原有的深度信息难以恢复。而常用的深度上采样方法，采用匹配彩色图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。这些方法的共同缺点是未充分考虑到彩色视频和深度视频在经过3D视频编解码后，彩色图的边缘和深度图的边缘往往不再相互对应，导致对深度图插值重建后物体的边缘被平滑，物体的形状发生失真，从而降低了上采样深度图的质量。因此，本发明提出了基于深度增强的重采样方法来提高深度图的质量。根据深度图的特点是物体内部的大部分区域的深度值是相似的，而仅在边缘有不同的深度值。本发明提出了基于频率选择的深度下采样方法，根据采样窗口内深度值出现的频率来对深度下采样，并根据这些深度值与采样窗口中心像素深度值的相似度来最终确定下采样的深度值。同时作深度上采样的时候，为了保护深度边缘，本发明提出了采用基于深度图可信边缘引导的深度增强方法。首先将深度图预插值，得到原始分辨率的深度图。然后将彩色图的边缘映射到其对应的上采样深度图中，得到深度图的可信边缘。接着结合彩色图和深度图空域和时域约束关系来构造实现深度增强的能量函数。该能量函数包含空域能量函数和时域能量函数。其中空域能量函数包含的平滑函数项是由深度图的可信边缘引导下定义的由彩色和空间相似性度量组成的能量约束函数。而时域能量函数则是由相邻两帧的彩色图相似性和深度图相似性度量组成的能量约束函数。最后对总的空时能量函数作最小化求解，得到最终的上采样深度图。本发明提出的上采样方法同时考虑了彩色图和深度图的空域和时域特征，因此能够很好地恢复原始分辨率的深度图，并保护深度的边缘。因此，本发明提出的基于频率选择的深度下采样方法和基于深度图可信边缘引导的深度增强的上采样方法，在深度重采样的过程中能够很好地保留和恢复深度图的边缘信息，因此在3D视频解码端能够合成高质量的多视点视频。

发明内容

本发明的目的是针对现有的面向3D视频编码的深度重采样方法的不足，提出了一种基于深度增强的重采样方法。

本发明方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码。为了保留原始深度图的深度特征，采用基于频率选择的滤波方法对深度视频下采样。深度下采样方法是先把采样窗口内的像素以平均值为阈值，分为两个像素集合，选取大于窗口内一半总像素数目的集合为采样集合，并选择该集合内出现次数最多的与中心像素最相似的深度值为下采样深度值。