[发明专利]一种深度图像缺失像素的修复方法及系统

说明书

本发明适用计算机技术领域，提供了一种深度图像缺失像素的修复方法及系统，所述方法包括：使用M个滤波器F_i对表示原始深度图像的矩阵D进行滤波，得到M个数值矩阵H_i，所述M为一预设的正整数值，i＝0,1,…,M‑1；对所述M个数值矩阵H_i中的所有元素进行降幅处理，得到降幅后的M个数值矩阵N_i；通过连续求和公式计算矩阵R，使用所述矩阵R替换表示所述原始深度图像的矩阵D，以完成所述原始深度图像的修复，其中，表示F_i的转置，*为卷积操作符，从而可将图像中反映的深度信息(即物体的距离信息)误差大大降低。

技术领域

本发明属于计算机技术领域，尤其涉及一种深度图像缺失像素的修复方法及系统。

背景技术

获取物体上各点相对于摄像机的距离是计算机视觉系统的重要任务之一，物体上各点相对于摄像机的距离可以用深度图来表示，即深度图中的每一个像素值表示物体上某一点与摄像机之间的距离。微软Kinect和英特尔RealSense等传感器可以拍摄出深度图，这一类传感器会主动发射红外光，然后传感器通过捕获反射的红外光来测量距离。如果物体是黑色，则光线吸收后无反射，传感器捕获不到反射光线，也就无法测量距离。此外，如果物体表面是异常光滑的镜面，光线也可能被反射到其他方向，传感器无法捕捉而形成图像缺失。除了物体表面特性的原因，还有一类空洞形成的原因是物体自遮挡。传感器上的光源发射装置和捕获装置不在同一个位置，所以有些区域因为遮挡，无法被发射的光源照射到，也会造成图像缺失。

现有技术主要采用相邻像素填充方法以及线性插值方法对缺失区域进行填充。相邻像素填充方法通过找到缺失像素最近的非缺失像素，用非缺失像素值来填充，这种方法完全不能刻画缺失区域的真实情况，会造成修复区域跟真实情况差别比较大。而采用线性插值方法填充缺失区域先提取缺失像素四周的多个非缺失像素，用这些非缺失像素的线性插值(即加权求和)来计算缺失像素值，该方法可以使得本来不平滑的区域变成平滑区域，然而仍然不能描述真实场景的深度信息，深度信息准确度不高。

发明内容

本发明实施例的目的在于提供一种深度图像缺失像素的修复方法及系统，旨在解决由于现有技术无法提供一种高准确度的深度图像缺失像素的修复方法，导致修复的图像深度信息准确度不高的问题。

本发明实施例是这样实现的，一种深度图像缺失像素的修复方法，所述方法包括下述步骤：

使用M个滤波器F_i对表示原始深度图像的矩阵D进行滤波，得到M个数值矩阵H_i，所述M为一预设的正整数值，i＝0,1,…,M-1；

对所述M个数值矩阵H_i中的所有元素进行降幅处理，得到降幅后的M个数值矩阵N_i；

通过连续求和公式计算矩阵R，使用所述矩阵R替换表示所述原始深度图像的矩阵D，以完成所述原始深度图像的修复，其中，表示F_i的转置，*为卷积操作符。

本发明实施例的另一目的在于提供一种深度图像缺失像素的修复系统，所述系统包括：

滤波单元，用于使用M个滤波器F_i对表示原始深度图像的矩阵D进行滤波，得到M个数值矩阵H_i，所述M为一预设的正整数值，i＝0,1,…,M-1；

降幅处理单元，用于对所述M个数值矩阵H_i中的所有元素进行降幅处理，得到降幅后的M个数值矩阵N_i；以及

计算替换单元，用于通过连续求和公式计算矩阵R，使用所述矩阵R替换表示所述原始深度图像的矩阵D，以完成所述原始深度图像的修复，其中，表示F_i的转置，*为卷积操作符。