[发明专利]一种深度图像缺失数据的插值方法

说明书

技术领域

本发明涉及图像处理方法，尤其是涉及一种针对深度图像采集过程中的缺失数据，进行估值和插补的方法。

背景技术

随着科学技术的进步，深度图像传感器在人机交互、机器人导航、物体识别、3D建模等领域得到了广泛应用。深度图像传感器主要采用了基于“light-coding”的立体视觉图像实时获取技术，可以实时获取目标区域内的RGB-D图像(即同时包含彩色RGB信息与深度信息的图像)，其主要产品以微软公司的Kinect为代表，还有华硕公司的Xtion-Pro等类似产品。

“light-coding”是PrimeSense公司开发的深度测量技术。基于“light-coding”技术的深度图像传感器主要包括红外激光散斑发射装置、红外摄像头、彩色摄像头以及运算处理器等装置，其通过红外激光散斑发射装置向目标区域发射激光光斑，并利用红外摄像头抓取激光光斑图像，由于不同距离、方位的物体其反射的光斑大小和分布各不相同，由此就可实现待测空间范围内的实时深度图像获取；再结合另一彩色摄像头同步拍到的彩色图像，通过校正与匹配，从而实现RGB-D图像的实时获取。

但是，由于这类深度图像传感器主要依赖发射、反射激光散斑来测量距离，其获取的深度图像中，经常由于视差、镜面反射、物体吸光、物体过远等原因，产生大量没有深度值的空洞(即像素的深度值为0)，这会给深度图像的后续处理带来很大困难。为解决这一问题，本领域技术人员研究开发了针对深度图像缺失数据的修复技术(即重新确定深度值为0的像素的深度值)，如中国发明专利“深度图像后处理的方法”(申请号201110460155.X)，其针对立体匹配算法产生的深度图像，可以修复深度图像中遮挡区域、低纹理区域的不可信点，从而获取精确平滑的深度图像，但其只能处理少量的数据缺失，对于较大面积的数据缺失情况不能很好地处理。又如学术论文“Kinect深度图像快速修复算法”(王奎等2012年10月发表于上海大学学报)，公开了一种深度图缺失数据的修复方法，但是该方法只适用于修复因遮挡产生的数据缺失，而对于由镜面反射产生的大面积数据缺失情况难以处理。

发明内容

本发明的目的是提供一种深度图像缺失数据的插值方法，具有估算准确度高、实时运行能力强的优点。

为解决现有技术中深度图像传感器采集的深度图像存在大量数据缺失，常用图像处理方法又不能很好修复的技术问题，本发明一种深度图像缺失数据的插值方法，包括以下步骤：

一、针对深度图像中缺失数据的像素，提取包含缺失数据像素的所有深度子图像；

二、根据每个深度子图像中缺失数据的像素所占总像素的比例，将所有深度子图像划分为两类；

其中，所述将所有深度子图像划分为两类，按以下方式实现：

(一)针对某个深度子图像，统计其中包含的像素总数，记为L；并统计其中包含的缺失深度值的像素数，记为N；

(二)计算缺失深度值的像素数N和像素总数L的比值，记为V＝N/L；

(三)当V﹥T时，将该深度子图像归于第一类；当V≦T时，将该深度子图像归于第二类；其中，T为预设阈值，T的取值范围为(0，1]；

三、针对两类深度子图像，分别采用基于时间和空间邻域信息聚类分析的估算方法与基于局部邻域最大值的估算方法，对缺失数据进行估算；

其中，(一)当深度子图像属于第一类时，采用基于时间和空间邻域信息聚类分析的估算方法对缺失深度值的像素进行深度值估算，即：

(二)当深度子图像属于第二类时，采用基于局部邻域最大值的估算方法对缺失深度值的像素进行深度值估算，即：

在公式[1]和[2]中，表示t时刻(x,y)坐标位置的深度估算值，D(x,y,t-idt)表示t-idt时刻(x,y)坐标位置的深度值，dt表示帧间隔时间；k表示在连续的m帧中(x,y)坐标位置的有效深度值个数；α表示系数，其取值范围为[0,1]，α与k/m的大小相关；D′(x,y,t)表示对(x,y)坐标位置的时间邻域和空间邻域进行聚类分析之后对(x,y,t)位置的深度值进行的估算；max{D_R(x,y,t)}表示在以(x,y)坐标位置为中心的局部范围内的最大有效深度值；

四、针对深度图像，将其中的缺失数据相应地替代为根据第三步获得的估算值，获得修复好的深度图像；

其中所述缺失数据是指深度图像中的像素深度值为0的状态，也指像素缺失深度值。