[发明专利]一种Kinect深度图像增强方法

权利要求书

1.一种Kinect深度图像增强方法，其特征在于具体步骤如下：

1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；包括如下子步骤：

101、根据深度和彩色图像中对应的特征点、边的纹理信息，计算深度和彩色图像的比例；利用opencv的resize函数调整彩色图像，并通过ROI将两者重合，进行对齐剪裁；剪裁后的深度和彩色图像分别记为Im_depth和Im_color；

102、对剪裁后的深度和彩色图像进行边缘检测，得到对应的两幅图像分别记为Im’_depth和Im’_color；

103、建立Im’_color与Im’_depth的映射关系，计算Im’_color中所有的边缘线中的点q与Im’_depth中最近的边缘点的空间距离d_q，选取阈值Threshold_dq；对于Im’_color中的点q，若d_q＞Threshold_dq，则该点的像素值清零，即该点不是边缘点，得到的清除了多余边缘线的图像，记为Im”_color；

2、将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分，采用形态学的膨胀方法将深度图像Im_depth中离散的错误和无效像素点扩充为连通的空洞，对于每一个空洞，通过其与Im’_depth中边缘线的空间距离，判断其类型，选取阈值Threshold_sp，若d_sp＝Threshold_sp时，空洞为物体边缘空洞，若d_spThreshold_sp，空洞则为非物体边缘空洞；

3、对于位于前景区域的非物体边缘空洞采用与物体边缘空洞相同的方式进行填充，方法同步骤4；针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理，取空洞最外侧的像素点q₁，q₁点的5*5邻域记为Ω_Hne，计算Ω_Hne中所有有效像素点深度值的平均值，将该值作为Ω_Hne中全部未知像素点的深度值，重复此步骤，直至计算出空洞中全部点的深度值；

4、针对物体边缘空洞的处理步骤包括如下子步骤：

401、物体边缘空洞中的点任一点p，若其在Im”_color中的对应点位于边缘线之外，则p点应属于背景像素点；物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为Ω_He1；Ω_He1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到，计算方法同步骤3的由于距离导致的测量不准确引起的非物体边缘空洞处理方法；

402、将物体边缘空洞中剩余的区域记为Ω_He2；取Ω_He2最外侧靠近前景物体的像素点集，记为Ω'_He2；对于每一个点p∈Ω'_He2，按下面公式计算f_p(q₂)的值；

其中，q₂∈Ω_Np，Ω_Np为p的8*8邻域中位于前景物体区域的有效点集；||p-q₂||为q₂和p点的空间距离，a为权值；为Im’_color中q₂和p对应点的颜色距离，b为权值；取f_p(q₂)值最小的三个像素点的深度值的平均值作为点p的深度；

403、重复步骤402，直至空洞Ω_He2中全部像素深度值计算完毕；

5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声。