[发明专利]一种Kinect深度图像增强方法

说明书

本发明涉及一种Kinect深度图像增强方法，其特征在于具体步骤如下：对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分，对物体边缘空洞的处理，采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，令窗口大小与中心像素深度值成线性关系，在去噪的同时兼顾细节的保持。该方法将深度图像进行区域分割，针对不同区域中不同原因导致的空洞采用不同的方法进行填充，大大降低算法复杂性，在保证实时性的前提下获得了高质量的Kinect v2深度图像。

技术领域

本发明涉及一种Kinect深度图像增强方法，属于计算机图像处理领域。

背景技术

深度图像的像素值表示场景中物体到相机的距离，包含场景的三维结构信息。深度图像是计算机视觉、三维重建、增强现实、机器人等领域应用的重要输入，深度信息的准确度至关重要。

深度图像的获取方法包括基于视觉的方法和基于深度传感设备的方法两类。基于视觉的深度图像获取方法是基于彩色图像的纹理信息提取深度值，算法复杂实时性不佳。基于深度传感设备的方法由于其良好的实时性应用广泛。Kinect作为一款体感设备由于其卓越的深度感知性能和亲民的价格，一经推出便成为深度获取最为广泛使用的设备。Kinect v2采用了完全不同于Kinect v1的深度测量原理，使得其深度测量的精度得到大幅提高。然而，Kinect v2深度图像中仍然存在由无效深度值像素构成的空洞，尤其是在深度值变化剧烈的区域，由于Kinect中三个IR发射装置、IR相机、RGB相机的物理位置的不同，导致场景中深度值变化剧烈的区域(例如物体边缘)存在大量的错误或无效像素。

为了对Kinect v2深度图像进行增强，得到高质量的深度图像，研究人员开展了大量的研究，探索了一些方法，可概括为如下两类：基于深度校准的方法，这类方法对深度图进行逐个像素校准；然而空洞中的像素点不仅仅有不准确的深度值点，更是存在大量的无效像素点，因此，对于空洞的处理效果不佳。另一类方法是，基于彩色纹理的深度增强方法，利用Kinect中RGB相机同时采集的彩色图像纹理对于无效像素深度值进行估计；这类方法对于图像中所有空洞的全部像素点依次进行估计，算法相对较为复杂，处理效率低，无法满足深度图像的各个应用领域中实时性的要求。

发明内容

为解决Kinect深度图像质量不佳的问题，本发明的目的在于提供一种Kinect深度图像增强方法，该方法将深度图像进行区域分割，针对不同区域中不同原因导致的空洞采用不同的方法进行填充，大大降低算法复杂性，在保证实时性的前提下获得了高质量的Kinect深度图像。

为了达成上述目的，本发明的技术方案是这样实现的：一种Kinect深度图像增强方法，其特征在于具体步骤如下：

1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；包括如下子步骤：

101、根据深度和彩色图像中对应的特征点、边等纹理信息，计算深度和彩色图像的比例；利用opencv的resize函数调整彩色图像，并通过ROI将两者重合，进行对齐剪裁；剪裁后的深度和彩色图像分别记为Im_depth和Im_color；

102、对剪裁后的深度和彩色图像进行边缘检测，得到对应的两幅图像分别记为Im’_depth和Im’_color；