[发明专利]基于局部约束重建的KINECT深度图空洞填充方法

说明书

技术领域

本发明涉及一种KINECT深度图空洞填充方法，尤其是涉及一种基于局部约束重建的KINECT深度图空洞填充方法及系统。

背景技术

目前，深度信息被广泛应用于基于深度的视点绘制、3D建模和姿势识别等领域。近来，微软发布的KINECT为实时获取深度信息提供了便利，KINECT不仅价格低廉而且还能同时采集场景的深度图和纹理图。然而，由于KINECT采集深度信息所用的结构光测量方法易受到遮挡、透明物体或纹理丰富的区域的影响，导致采集的深度图在对象的边缘或平坦的区域存在空洞，这些空洞严重影响了深度图的应用。因此，对深度图的空洞进行精确填充至关重要。

近年来，很多学者对KINECT深度图的空洞填充提出了不同的方法。Fu等^[1]提出利用连续帧的帧间填充模式来恢复丢失的深度值，然后利用双边滤波算法对深度图进行去噪处理。然而，该算法导致深度图的边缘膨胀，并且一些小空洞依然存在。基于深度图和纹理图在结构上和空间上的相似性，有学者基于纹理图区域分割结果，利用迭代扩散的方法恢复丢失的深度信息，但是该方法易受到纹理图分割精度的限制。Miao等人^[2]利用in-painting算法实现了空洞填充，该方法通过划分波动边缘区域对空洞进行填充，但是在对象边缘的空洞是利用波动边缘区域内深度值的均值进行填充的，深度值并不精确。为了增加非空洞像素权值计算的准确性，Camplani等人^[3]基于联合双边滤波算法利用纹理图来计算非空洞像素的权值进行空洞填充，尽管该方法获得了一定的成效，但该方法在计算非空洞像素的权值时仅分别考虑了单个周围像素对中心像素的贡献，并未考虑所有周围像素对中心像素的整体贡献，致使计算的权值并不最优，影响了空洞填充的精确性。

文中涉及如下参考文献：

[1]Jingjing Fu,Shiqi Wang,Yan Lu,Shipeng Li and Wenjun Zeng,“Kinect-Like Depth Denoising”,in Proc.IEEE International Symposium on Circuits and Systems,pp.512-515,2012.

[2]Dan Miao,Jingjing Fu,Yan Lu,Shipeng Li and Chang Wen Chen,“Texture-assisted Kine ct Depth In-painting”,in Proc.IEEE International Symposium on Circuits and Systems,pp.604-607,2012.

[3]Camplani,M.and Salgado,L,“Efficient spatio-temporal hole filling strategy for Kinect depth maps”,in Proc.SPIE,2012.

发明内容

针对现有技术存在的问题，本发明提供了一种精确度更高的、基于局部约束重建的KINECT深度图空洞填充方法及系统。

为了解决上述技术问题，本发明采用如下的技术方案：

一种基于局部约束重建的KINECT深度图空洞填充方法，包括对深度图当前的空洞像素逐一执行以下步骤：

步骤1，以空洞像素为中心构建搜索窗，并获取搜索窗内的所有非空洞像素；

步骤2，获取搜索窗中心的空洞像素和搜索窗内的所有非空洞像素在纹理图中的对应位置像素，搜索窗中心的空洞像素在纹理图中的对应位置像素简称为空洞像素的对应位置像素，搜索窗内的非空洞像素在纹理图中的对应位置像素简称为非空洞像素的对应位置像素；

步骤3，以纹理图中的各对应位置像素为中心分别构建块，将空洞像素的对应位置像素所在的块作为中心块，将非空洞像素的对应位置像素所在的块作为邻域块；

步骤4，基于局部约束重建准则构造代价函数，根据所构建的代价函数获得所有邻域块用来表达中心块的最优权重向量，所获得的最优权重向量中的各元素对应各邻域块的最优权重；

步骤5，以邻域块的最优权重为位于邻域块中心的非空洞像素的权重，对搜索窗内的所有非空洞像素的像素值加权求和得到目标像素值，并将目标像素值作为深度图中该空洞像素的像素值。

步骤1具体为：