[发明专利]一种微软体感装置深度图像增强方法

说明书

技术领域

本发明涉及一种深度图像增强方法，更具体的说是一种微软体感装置深度图像增强方法。

背景技术

Kinect是微软发布的一款廉价的深度图像获取设备。它能够以30fps的速度同时产生大小为640×480的彩色图像和深度图像。由于这种廉价和实时的特性，Kinect发布不久就被广泛用在了医院、图书馆、报告厅等互动场所。

由于测量原理的限制，Kinect的深度图像在物体的边缘附近和反射率较差的表面会产生空洞，并且，深度图像的边缘和对应的彩色图像的边缘往往不是匹配的。

为了解决空洞填补问题，研究人员尝试了一些填补方法。传统的方法主要分为基于像素的方法和基于点云的方法。基于像素方法的思想是将深度图像看成普通的灰度图像，将空洞看成是待修复的区域。这样，空洞填补的问题转化成了传统的图像修复问题。这类方法主要利用彩色信息作指导，通过插值、快速修复和置信度传播等图像修复的方法来估计无效点的深度值。但是，由于深度图像的边缘和彩色图像的边缘并不匹配，所以物体边缘的深度信息是不可靠的，估计出的深度值往往也不准确。

基于点云方法的思想是将深度图像当作描述物体表面的数据，这样，空洞填补的问题就转化为物体表面补全的问题。这类方法首先将深度图像数据转化为点云数据，通过点云重构出3D表面，然后依据表面结构的特性（如形状的相似性、表面法向量之间的关系等等）来找到与空洞最匹配的图像块。这类方法缓和了第一类方法中估计出的深度值不准确的问题，但并没有彻底解决这个问题。并且，这类方法需要重构出3D表面，对于不需要3D重构的应用来说，增加了不必要的计算量。

对于深度图像边缘和彩色图像边缘不匹配的问题，现有的方法主要是发掘深度图像序列的信息，用较长的时间窗口滤波来得到稳定的深度图像边缘。这种方法需要对相邻的图像进行运动估计，由于图像噪声等因素的影响，图像序列的运动估计并不十分准确，并且计算量也较大。

发明内容

为了解决Kinect深度图像中存在的上述问题，本发明提供了一种微软体感装置深度图像增强方法。本发明可以作为对Kinect深度数据的前处理而广泛地运用于各种kinect实际系统中。

本发明解决上述技术问题的技术方案包括以下步骤：

1）对Kinect彩色图像和深度图像分别作边缘检测，得到彩色图像边缘和深度图像边缘；

2）以两个边缘图像为输入，采用区域生长法得到两个边缘图像中间的区域，即错误像素所在的区域；

3）移除错误像素深度值；

4）用区域生长法在无效像素周围构建平滑区域；

5）用双边滤波法估计平滑区域中无效像素的深度值。

6）用双边滤波法估计剩余无效像素深度值，得到一幅边缘与彩色图像边缘一致的无空洞的深度图像；

上述的微软体感装置深度图像增强方法中，所述步骤1)为：

将从Kinect采集的彩色图像和深度图像分别转为8位灰度图像，然后对两幅8位灰度图像采用Canny边缘检测算法分别进行边缘检测。其中，Canny边缘检测的上限阈值和下限阈值分别为200和100。

上述的微软体感装置深度图像增强方法中，所述步骤2)包括以下步骤：

a)用区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成掩模图像mask1和掩模图像mask2。

其中深度图像边缘构建区域的方法为：以深度图像边缘上的所有的像素为种子进行区域生长，直到碰到彩色图像边缘或者达到指定距离为止。

其中彩色图像边缘构建区域的方法为：以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定距离为止。

b)将深度边缘图像进行形态学膨胀操作。

c)将掩模图像mask1和掩模图像mask2按像素求与操作得到掩模图像mask4，然后将掩模图像mask4和掩模图像mask3按像素求或操作得到掩模图像mask5,此即为错误像素检测的结果，其中非零像素表示错误像素。

上述的微软体感装置深度图像增强方法中，所述步骤4)为：在以每一个无效像素P_i为中心的5×5窗口中进行区域生长，并在其周围构建平滑区域。

上述的微软体感装置深度图像增强方法中，所述步骤5)中双边滤波法为：