[发明专利]用于对表示三维视频的比特流进行编码的设备

说明书

技术领域

本发明涉及用于对表示三维视频的比特流进行编码的设备和方法。

背景技术

3D视频是一种新技术，其需要连同常规2D视频数据一起发射深度数据以允许接收器侧的更大灵活性。所述额外深度信息允许合成任意视点，所述视点随后实现感知深度印象的调适和多视图自动立体显示的驱动。通过将深度信息添加到每一发射的视图，待编码的数据量大大增加。与常规情况相比，自然视频深度图的特征在于由沿着深度不连续处的尖锐边缘定界的分段光滑的区域。使用常规视频编码方法来压缩深度图导致沿着这些深度不连续处的强环状效应假象，其在视图合成处理中产生视觉上干扰的几何失真。因此，保留深度图的所描述信号特性是新深度编码算法的关键要求。例如自动立体显示或立体声显示的3D显示技术的领域中的近来发展允许按照观看者的个人偏好调适深度印象，并要求基于有限数目的可用的解码视图来合成额外任意视图。为了允许此灵活性的扩展，深度信息需要在接收器侧为可用的，并且因此需要连同常规2D视频数据一起编码。这些额外深度图示出与自然视频数据相比的不同信号特性。此外，深度图中的失真具有对所显示的视频的视觉质量的间接影响，因为它们用于合成同一场景的新视图且从未向用户本身展示。具有针对自然2D视频优化的算法的压缩深度图导致沿着深度不连续处的强环状效应假象，其随后在合成视图中生产几何失真。

深度数据的压缩的先前工作将深度数据视为灰色视频且以H.264/AVC中发现的常规的基于变换的视频编码算法压缩深度数据，例如P·Merkle、A·Smolic、K·Muller和T·Wiegand的“多视图视频加深度表示和编码(Multi-view video plus depth representation and coding)”(第14届IEEE图像处理国际会议(ICIP)，IEEE 2007，第I201-I204页)。已经表明这些常规编码工具在PSNR方面产生相对较高的压缩效率，但同时在原始深度图中沿着尖锐边缘引入环状效应假象。这些假象导致视图合成阶段中的几何失真。更近期的深度压缩算法通过分割为三角形网或小片晶并且通过近似2D功能对每一片段进行建模来近似深度图的信号特性，所述三角形网如M·Sarkis、W·Zia和K·Diepold的“快速深度图压缩和以压缩三重树网格化(Fast depth map compression and meshing with compressed tritree)”(计算机视觉-ACCV 2009，第44到55页，2010)中描述，所述小片晶如Y·Morvan、P·de With和D·Farin的“用于多视图图像的发射的深度图的基于小片晶的编码(Platelet-based coding of depth maps for the transmission of multiview images)”(SPIE的会刊，立体显示和应用，第6055卷，2006，第93-100页)中描述。通过引入额外编码模式，例如S·Liu、P·Lai、D·Tian、C·Gomila和C·Chen的“用于深度图压缩的稀疏二重模式(Sparse dyadic mode for depth map compression)”(第17届IEEE图像处理国际会议(ICIP)，IEEE，2010，第3421-3424页)中描述的稀疏二重模式，这些基于纯模型的方法还可与常规的基于变换的工具组合。此处，经稀疏二重编码的块被分割为两个片段，其由两个常量深度值描述。因为在压缩深度图时深度不连续的保持是最重要的，所以另一方法是无损地压缩这些不连续处的位置且近似分段平滑区域，如F·Jager的“基于轮廓的分段和用于深度图压缩的编码(Contour-based segmentation and coding for depth map compression)”(视觉通信和图像处理(VCIP)，2011IEEE.IEEE，2011，第1到4页)中先前提出的。此方法的不足之处是由于深度轮廓的无损编码而无法达到低比特率。

综上所述，当以针对纹理化视频数据优化的常规算法编码深度图时，由于变换和量化而引入沿着深度不连续处的环状效应假象。例如由强边缘定界的分段光滑的区域的典型深度图特性需要不同地编码以允许接收器处的较高质量视图合成。常规编码算法使用例如方向性帧内预测和平面模式的高级预测方法。这些能够在一定程度上近似深度图的边缘和梯度。方向性预测模式不能够近似从当前编码单元的右上方不连续的边缘。此外，已经知道的平面模式不能够表示仅部分地特征在于深度梯度的编码单元，因为它们含有两个不同深度片段。

发明内容