[发明专利]一种纹理/深度联合上采样方法

说明书

技术领域

本发明属于3D视频压缩重建的技术领域，具体地涉及一种纹理/深度联合上采样方法。

背景技术

近年来，随着3D多媒体/显示技术的快速发展和视频服务的不断升级，传统视频所提供的简单的平面视觉信息已经远远不能满足人们的视觉要求。面对周围多元化的世界，人们需要从全方位以更加全面、更加立体的角度进行观察和分析。

目前，3D视频作为一种最主流的视频格式赢得了广泛关注。它是一种能够提供立体感的新型视频技术，3维电视/自由视点电视（3DTV/FTV）作为其重要应用而应运而生，现已成为非常重要的研究方向。与传统的平面电视相比，3DTV通过对多个视点的渲染技术来达到立体影像的三维显示，使用户有一种三维的深度知觉。FTV可以方便用户自由选择视点，从不同角度观看三维立体场景，满足人们对真实场景再现的需求。

然而，为了满足人们的这种需求，需要多个摄像机从不同角度拍摄同一场景并且对这些多视点视频信号进行编码传输，在带宽受限的环境中多视点的存储或传输是不可能的。此种情况的解决方案是在自由立体视频系统的终端采用基于深度图像的绘制(Depth Image Based Rendering,DIBR)技术，它是一种利用彩色图像及其对应的深度图像生成虚拟视点图像的方法。因此，为实现用户的自由视点选择，除视频数据外，还需要获取与之相应的深度数据，而最终虚拟视点渲染质量主要依赖于深度图像的质量。这就使得高质量的深度图像压缩成为FTV系统中的关键技术。

深度图像表示了相对应的彩色图像的每个像素的深度值（即场景中的物体与摄像机的距离），并提供了在虚拟视图渲染系统中所需要的与视频图像不同的信息。深度图像可视为一个灰度图像序列用来存储和传输，这样就可用传统的视频编码方法（如H.264/AVC)进行压缩。然而，传统的视频编码方法普遍适用于编码那些最终能被用户观看的图像序列，但是深度图像并不能被用户观看，而是用来作为视图渲染的辅助。另外，相比于传统的视频图像，深度图像呈现出不同的特性。典型的深度图像通常由锐利边缘和低纹理的局部均匀光滑区域组成，且深度图像边缘与多视点视频中相关纹理图像边缘有很高的相关性。因此，当使用传统的视频编码方法压缩深度图像时，在压缩过程中产生的失真就会直接导致在合成虚拟视点图像时严重的失真。所以，探索一种合适的编码深度图像方法，既能很好地压缩深度图像的同时又尽可能避免在虚拟视点图像合成过程中引入新的失真是十分重要的。

有两类解决方案可以用来解决这个问题。第一类是建立专门对深度图进行编码的方法。Morvan et al.曾提出了一种基于platelet的深度编码方法，即通过对全局率失真约束下的可变四叉树进行再分来估计分段线性函数使深度图像模块化。结果表明该方法要比JPEG-2000编码提升1-3dB。Maitre和Do提出了一种基于外形自适性小波变换的深度压缩方法，该方法是沿着深度边界生成一些小波系数。尽管这些方法要比传统的图像压缩方法效果要好，但由于存在时间冗余并且与传统的视频编码标准不兼容而很难被扩展到视频领域。在H.264/AVC中提出了一种新的帧内预测方法通过设计一种边缘检测帧内预测的方案来编码深度图像，该方法可以降低宏块中的预测错误并且可以很容易地与H.264/AVC结合在一起。然而该编码算法的效果是通过衡量深度图像本身来评估，而不是合成视图。此外还有很多诸如基于3D运动估计等方法对深度图进行压缩编码，而这些算法在压缩效率、可实现性上比不上基于视频编码标准的深度图像压缩编码方法。

第二类方法是在用现有的编解码器对深度图像进行编码前先进行预处理，解码后再进行后处理。最常用的方法是先经过下采样降低深度图像分辨率，然后使用H.264/AVC或HEVC视频编码技术压缩深度序列，在解码端用有效的上采样算法恢复到原来的分辨率，这种方法可以大大减少传输码率，但必须精心设计下采样滤波器和上采样重建滤波器以最大限度地提高深度压缩质量。

一般来说，深度图上采样技术可以分成两大类：独立的深度上采样以及纹理/深度联合上采样。Oh et al.提出了一种重建滤波器以更好地保护边缘锐度。该滤波器是基于发生频率，深度差异以及像素位置间距离三个参数而设计的，并且这些参数只与深度图本身相关。一种中值上采样方法应用到基于下/上采样的深度图压缩中，同样这种滤波器的设计只考虑了深度图自身的特点。通过这些方法，虽然可以重建出锐利的边缘，但是重建出的边界位置可能与原始位置不匹配，并且可以观察到一定程度的合成失真。