[发明专利]一种基于彩色图引导的深度图恢复及视点合成优化方法

说明书

本发明公开了一种基于彩色图引导的深度图恢复及视点合成优化方法，首先对不一致区域进行探测，检测输入深度图的边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对不一致区域探测。本发明能够抑制强噪声，并且能够修复深度图和彩色图不一致区域，提高深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意义。同时对于一致区域的去噪和保边能力强，采用成熟的迭代加权最小二乘模型，对参数的适应性强，提高了模型的鲁棒性。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于彩色图引导的深度图恢复及视点合成优 化方法。

背景技术

随着深度传感器的问世及立体显示技术的快速发展，深度图成为近年来的研究热点。深度 图的获取方式有主动式和被动式两种。主动式主要是由两个或多个视点的可见光数据进行立体 匹配计算相应位置的视差，然后根据几何关系转化为深度图。立体匹配得到的深度图准确度有 了很大的提高，但是计算复杂，对可见光数据的要求较高，在实际应用中有一定的局限性。被 动式主要是指由深度传感器直接获取深度图像，常用的深度传感器有ToF(Time of Flight)和 Kinect等，ToF通过测量光脉冲之间的传输延迟时间来计算深度信息，实时性强，但分辨率低 且存在随机噪声。Kinect通过向测量空间发射红外线，再由红外摄像机记录空间中物体反射形 成的散斑，通过计算得到深度图像，成本低廉，但存在深度值缺失和噪声。因此，无论是主动 方式还是被动方式获得的深度图，都需要进行深度图恢复以便为后续的应用提供更好的数据支 持。

基于深度图像绘制的视图合成方法是3DTV的关键技术，它利用深度图像将对应的彩色图 像经过一系列的三维变换和视图融合生成合成视点图像，因此合成图像质量的高低依赖于输入 图像的质量，除了深度图像的噪声和空洞的影响外，深度图和彩色图的边缘的一致性也有较高 的要求，否则会引起合成图像的裂纹和空洞，给后续合成图像的空洞填充带来负担。因此，在 类似虚拟视点合成这样需要深度图和彩色图边缘高度一致的场合，深度图修复技术不仅仅需要 考虑去噪和超分等，还需要修复不一致区域。

目前主流的深度图修复技术主要是利用彩色图和深度图的信息来实现深度图的恢复，比如 经典的三边滤波器和引导滤波器。Jingyu Yang等人在论文“Color-guidedDepth Recovery from RGB-D Data Using an Adaptive Auto-regressive Model”中，提出彩色图引导深度图恢复的自回归 模型，联合初始深度图的局部信息和彩色图的非局部信息构建回归系数，通过最小化自回归预 测误差来实现对深度图的去噪和超分。Wei Liu等在“Robust Color Guided Depth Map Restoration”论文中提出了一种自适应带宽的迭代重加权最小二乘算法，通过计算深度图的相对 平滑度来确定带宽，同时每次在迭代中更新平滑项的权重，使得模型更加鲁棒。这两种经典算 法都采用了彩色图来引导深度图实现恢复，其基本假设是深度图和彩色图的边界完全一致，然 而在实际应用中这一假设很难成立，因此对于深度图和彩色图不一致的区域就会引起深度图边 界模糊和纹理引入。YifanZuo在论文“Explicit Edge Inconsistency Evaluation Model for Color-Guided DepthMap Enhancement”中，提出了明确度量深度图和彩色图一致性的加权最小 二乘的模型，通过提取深度图和彩色图的边缘，采用二分图匹配和图割优化，找到深度图边缘 偏移量，以此来定义不一致性，在平滑项中由不一致性来平衡彩色图和深度图梯度对输出的影 响。这个方法考虑到了深度图和彩色图不一致的影响，但边缘提取高度依赖于图像梯度，抗噪 能力差，且一致性度量仅在边缘有效，无法实现不一致区域值的修复，适用范围有限。

发明内容