[发明专利]深度图像修复方法、设备及计算机可读存储介质

说明书

本发明公开了一种深度图像修复方法、设备及计算机可读存储介质，通过Kinect传感器获取彩色图像和深度图像；对相机进行标定、对深度图像进行可视化处理；深度图像和彩色图像裁剪对齐；然后判断空洞类型，根据空洞的类型使用不同算法分步进行修复：利用改进的快速行进法修复物体表面空洞，对遮挡空洞利用基于方向的联合双边滤波进行填充，最后用自适应中值滤波去噪。本发明能够有效的修复空洞且深度图边缘细节更加清晰，为后续的三维重建提供高质量的深度信息。

技术领域

本发明涉及本发明涉及图像处理技术领域，尤其涉及一种基于Kinect的深度图像修复方法、设备及计算机可读存储介质。

背景技术

现在，三维重建是目前计算机视觉中研究的一个热点问题，随着Kinect传感器的发布，三维重建方面得到了极大的发展，将人机交互推向一个高潮，使得人们更方便的学习和实现三维重建技术。进行三维重建的重要环节包括图像的获取、特征提取、匹配等，而获取目标场景的深度图像是重建工作的最基本的前提，根据图像来求解相机位姿来生成点云数据，然后经过点云配准生成三维地图，因此深度图像的质量决定了重建的精度。

Kinect能同时获取三维重建所需的深度图像和彩色图像，但是因为Kinect的自身限制和环境因素，获取的深度图像存在很多空洞和噪声等问题导致所获取得到的深度信息不准确，对于之后进行三维重建存在着很大的影响，重建时的点云数据特征信息丢失会导致点云图的误差增加，所以对深度图像的空洞进行一系列的修复，得到更高质量的深度图像，更精确的深度信息对进一步的重建工作有着很重要的意义。目前，深度图修复的主要算法有高斯滤波，双边滤波，偏微分方程等，这些算法通常不能修复大区域空洞，图像边缘会出现模糊现象，且用单一的滤波算法进行修复具有盲目性。

发明内容

本发明要解决的技术问题是：针对Kinect获取的深度图像通常存在空洞和噪声，如果不进行处理直接转换为点云数据来进行三维重建时将影响重建精度，点云图上会出现部分缺失和“斑点”的问题，提供一种深度图像修复方法，用于处理和修复该类深度图像。根据本发明的另一个方面，提供一种计算机可读存储介质和深度图像修复设备，用于处理Kinect获取的深度图像。

本发明为解决上述技术问题，采用如下技术方案：

一种深度图像修复方法，用于处理Kinect获取的深度图像，其特征在于包括如下步骤：

S1：首先利用Kinect获取室内彩色图像和深度图像；对Kinect的深度相机和彩色相机进行标定，使深度图像和彩色图像像素点一一对齐；

S2：对深度图像进行可视化处理，将深度图转化成普通的灰度图；

S3：将深度图像四周的无效黑色区域进行裁剪处理；

S4：然后判断裁剪处理后深度图像的空洞类型；

S5：根据空洞的类型使用不同算法进行分步修复，所述的分步修复过程为：利用改进的快速行进法修复物体表面空洞；对遮挡空洞利用基于方向的联合双边滤波进行填充；

S6：最后使用自适应中值滤波对修复后的深度图像进行去噪处理，获取高质量的深度图像。

上述技术方案中，步骤S1中采用张正友标定法对相机进行标定，具体步骤如下：

1)用图像编辑软件绘制出一个7×10棋盘标定格图像，用A3纸打印出该图像，并将打印后图像粘贴在平坦的木板上，作为对Kinect进行标定的棋盘标定板；

2)从不同角度拍摄出若干张棋盘标定板图片，检测出图像中的特征点；

3)求解相机的内外参数并使用极大似然估计提升精度；

4)应用最小二乘求出实际的径向畸变系数；

5)输出相机的内外参数及畸变系数。