[发明专利]一种基于视点一致性的多视点压缩深度视频增强方法

说明书

本发明公开了一种基于视点一致性的多视点压缩深度视频增强方法，包括：对多个视点的深度视频进行编码，得到压缩后的当前视点深度图和其他视点深度图；将其他视点深度图映射到当前视点，得到映射深度图；基于视点一致性来结合映射深度图，通过全局优化的方式对压缩后的当前视点深度图进行增强，从而得到目标深度图。本发明考虑了视点一致性对压缩后的当前视点深度图进行增强得到目标深度图，利用本发明提出的方法增强后的深度图不仅在客观图像质量衡量指标可以实现比较好的增益，在主观视觉效果上，目标对象的轮廓和更多细节得到很好的还原，从而可以更好的应用到其他技术当中。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于视点一致性的多视点压缩深度视频增强方法。

背景技术

多视点视频加深度(MVD)是各种3D应用的常用格式，如3DTV，虚拟现实，机器人视觉和对象跟踪等。这些应用可以与可穿戴设备或便携式平台相结合以方便用户使用。在这种情况下，需要压缩并传输大量的多视点深度视频。压缩导致的编码失真(例如，模糊，噪声混叠效应，结构缺失等)可能影响深度视频的质量，然后影响合成视图的感知质量。因此，如何有效处理多视点深度视频的压缩失真对于上述应用十分重要。

对于深度图的处理可以分为局部和全局方法。对于局部的方法，就是利用周边局部的像素点对当前像素点进行加权滤波增强。例如双边滤波、自适应深度截断滤波器、基于候选值的边界滤波等。当拥有较少的先验知识时，局部方法可以在局部区域取得较好的增强效果，而全局优化的方法可以优化权衡各种模式的先验知识，例如Zhao等人提出了一个两阶段滤波方法，第一个阶段基于二值分割的深度滤波，第二阶段基于马尔科夫随机场(MRF)的引导重建。

另外，除了仅利用深度图本身，利用辅助信息可以进一步增强压缩深度图的质量。因为彩色图和深度图是对同一场景的不同表示方式，它们之间具有一定的联系，一般采用彩色图作为参考图像，例如联合双边滤波，噪声感知滤波器、加权模式滤波器。

以上工作主要针对的是单视点的，而对于多视点压缩深度视频的增强工作较少。多个视点是在不同位置拍摄同一个场景的结果，所以能够提供更多的辅助信息。目前有一些相关的工作，例如Erhan等人提出了一个内容自适应增强技术对多视点深度图进行增强，考虑了边缘、运动、深度值。另外，Liu等人提出了一个基于聚类的多视点深度图滤波方法。然而由于压缩，不同视点深度图之间的关系具有不确定性，使得直接使用其他视点深度图存在误差。

由此可见，现有技术存在压缩后的多视点深度视频失真的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视点一致性的多视点压缩深度视频增强方法，由此解决现有技术存在压缩后的多视点深度视频失真的技术问题。

为实现上述目的，本发明提供了一种基于视点一致性的多视点压缩深度视频增强方法，包括：

(1)对多个视点的深度视频进行编码，得到压缩后的当前视点深度图和其他视点深度图；

(2)将其他视点深度图映射到当前视点，得到映射深度图；

(3)基于视点一致性来结合映射深度图，通过全局优化的方式对压缩后的当前视点深度图进行增强，从而得到目标深度图。

进一步地，步骤(3)包括：

(3-1)以目标深度图与参考深度图之间的深度值差异作为数据项，所述参考深度图为压缩后的当前视点深度图或者对压缩后的当前视点深度图滤波增强后的深度图，以目标深度图中相邻像素点之间的平滑约束作为平滑项，以映射深度图与目标深度图之间的深度值差异作为视点一致性项，利用数据项、平滑项与视点一致性项之和构建能量函数；

(3-2)以能量函数最小为目标，得到目标深度图中每个像素点的深度值，进而得到对压缩后的当前视点深度图增强后的目标深度图。