[发明专利]一种对Kinect深度图像中的空洞进行实时填充的方法

说明书

技术领域

本发明属于深度图像处理技术领域，更为具体的讲，涉及一种对Kinect深度图像中的空洞进行实时填充的方法。

背景技术

Kinect是微软在2010年6月（参见K. Khoshelham, Sander Oude Elberink. Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications. Sensors 2012, 2012(12), pp. 1437-1454）展出的一种Microsoft Kinect 3D立体摄影机,它能同时获取拍摄场景的彩色图像和与其对应的深度图像，由于Kinect摄影机能够较为容易并且低廉的实时获取场景的深度图像，Kinect摄影机在三维场景重建、物体分割等领域得到广泛应用。

Kinect的深度图像的捕获频率为30fps，实际的深度视频中帧与帧之间存在很大的时间相关性，这对于图像压缩和图像处理具有重要意义。然而图像受光斑的时变条件影响，Kinect可能在深度图像的生成期间无法捕获反射光的变化，或者无法正确识别光斑的变化，使得获得的深度图像每个像素是变化的，导致Kinect捕获的深度视频产生忽明忽暗的闪烁。Kinect摄影机通过不同光斑的映射获得深度图像，该深度图像受光学条件和成像模式影响，会导致物体边缘处产生深度图像不匹配，深度图像出现空洞。

目前，Kinect深度图像中的空洞进行填充的方法可分为两类：

第一类方法，利用时间域信息进行Kinect深度图像实时空洞填充的方法，例如，Matyunin等人（参见Sergey Matyunin, Dmitriy Vatolin, Yury Berdnikov, Maxim Smirnov. Temporal filtering for depth maps generated by Kinect depth camera. 3DTV Conference ,2011. pp. 1-4.）利用深度视频中的连续几帧Kinect彩色图像和与其对应的Kinect深度图像，获得物体的运动信息以及Kinect深度图像中每一像素位置的像素值变化,将Kinect深度图像中待填充空洞的像素值设置为连续几帧的、与待填充空洞在深度图像中位置相同的所有像素值的中值，这种方法可以实现对Kinect深度图像的空洞进行实时填充，且填充效果较好。利用时间域信息进行Kinect深度图像实时空洞填充的方法可以实时利用深度图像进行应用开发。上述空洞填充的方法虽然能解决Kinect深度图像中的空洞进行实时填充的问题，但是不能保持深度图像中物体的边缘完整、准确性，其所获得的深度图像中的闪烁问题未解决。

第二类方法利用空间信息进行Kinect深度图像空洞填充的方法，该方法利用深度图像的邻域像素进行空洞填充（参见Na-Eun Yang, Seoul, Yong-Gon Kim. Depth hole filling using the depth distribution of neighboring regions of depth holes in the Kinect sensor. Signal Processing: Communication and Computing (ICSPCC), 2012 IEEE International Conference on, 2011(8), pp. 658-661.） ；利用多边滤波对深度图像的空洞进行填充 （参见M. Camplani and L. Salgado. Efficient spatio-temporal hole filling strategy for kinect depth maps. Three-Dimensional Image Processing (3DIP) and Applications, 2012.）。上述方法通过利用Kinect获取深度图像空洞像素与其邻域像素的深度值相关性，以及与Kinect深度图像对应的Kinect获取的彩色图像中的颜色相关性，对Kinect深度图像中的空洞进行填充。该方法利用空间信息对Kinect深度图像中的空洞进行填充，其空洞填充的准确性低于第一类利用时间域信息对Kinect深度图像中的空洞填充的准确性，而且该类方法的时间复杂度太高，进行填充时间花费较多，无法达到对Kinect深度图像进行实时空洞填充，制约了Kinect的应用。

发明内容