[发明专利]基于双目RGB-D相机深度轮廓估计方法

说明书

本发明属于计算机视觉领域，为提出生成高质量深度轮廓估计的方法。本发明采取的技术方案是，基于双目RGB‑D相机深度轮廓估计方法，RGB‑D表示彩色和深度图像。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。本发明主要应用于计算机视觉场合。

技术领域

本发明属于计算机视觉领域。特别涉及基于双目RGB-D相机深度轮廓估计算法。

背景技术

深度的获取是工业界与学术界关注的重点。目前，有已经有很多方法用于完成高质量深度图像的获取，主要分为两类，其中一种是被动获取，例如立体匹配、2D-3D转换技术、彩色相机阵列等。然而，这些方法都是基于推断的，是从彩色图像的结构信息中估计深度，并不是对深度进行直接测量，这种方法往往会产生错误的深度估计结果。另一种是主动方式，即：直接获取深度图像。随着Kinect、可测深度摄像头TOF camera等深度相机的出现，人们更倾向于使用深度相机直接获取场景的深度信息。Kinect是微软在2009年6月2日的E3大展上，正式公布的XBOX360体感周边外设。这一方式不仅提高了场景信息的质量和全面性，而且大大减少了获取3D内容时的工作量。目前市场上存在各种深度相机，2010年，微软推出了第一代Kinect深度相机，最近，微软更新发布了第二代深度相机Kinect v2。不同于利用散斑结构光成像原理的第一代Kinect，Kinect v2利用ToF(时间飞行)技术，能够获取比一代Kinect准确性更高的深度图像，但是系统误差、低分辨率、噪声和深度缺失等问题依旧存在。针对这些问题，目前存在很多深度修复算法用于深度图像的重建工作中。其中包括基于全局优化的深度图像重建模型、基于滤波的深度增强算法等，例如基于马尔科夫随机场(markov random field)模型、总分辨模型(total variation，TV)、导向滤波，基于交叉的局部多点滤波等。

这些方法能够得到较高质量的深度图，但是，当深度图像中存在大面积深度缺失现象时，这些方法的效果并没有达到最佳，容易出现边缘模糊、深度估计错误等问题，深度修复算法仍需要进一步改进。而且，这些方法只是针对单一视点深度图像，对于需要的多视点彩色图像-深度图像对的立体显示系统来说，缺乏有效性和应用性

对于多视点成像任务，叶昕辰等人提出了利用第一代Kinect实现多视点成像的方法；Zhu 等人利用一个ToF相机和两台彩色相机搭建了多视点相机系统来获取高质量深度图像；Choi 等人同样建立了多视点系统对低分辨率深度图像进行上采样修复工作。然而这些工作中多关注深度采集的精确度问题，并没有考虑系统内各个视点间的相互关系，或者只使用了简单的融合方式对不同视点的图像进行融合。因此进一步分析和完善双目采集系统的特性描述、改进融合方式以实现高质量的深度恢复是很有必要的。

发明内容

本发明意在弥补现有技术的不足，即生成高质量深度轮廓估计的方法。本发明采取的技术方案是，基于双目RGB-D相机深度轮廓估计方法，RGB-D表示彩色和深度图像。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。

进一步地，具体步骤如下：

1)获得低分辨率的深度边缘信息

先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘

2)生成深度边缘的高分辨率散点图

利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图

3)生成高分辨率的连续的深度轮廓