[发明专利]一种对Kinect深度图像中的空洞进行实时填充的方法

权利要求书

1.一种对Kinect深度图像中的空洞进行实时填充的方法，其特征在于，该方法包括以下步骤：

步骤1， 用Kinect摄影机获取拍摄场景的彩色图像和与其对应的深度图像，采用运行期高斯平均法提取彩色图像背景，得到背景图像，再采用背景差分法对Kinect彩色图像进行分割，获得前景图像，确定前景图像的位置和背景图像的位置；

步骤2， 利用Kinect深度图像构建最深深度图像(deepest depth image，DDI)，然后，对该最深深度图像中的空洞进行填充，生成空洞填充后的最深深度图像；

步骤3， 利用步骤1获得的背景图像位置，将该背景图像位置设为深度图像背景，用上述空洞填充后的最深深度图像的像素替换深度图像的背景像素，从而实现对深度图像背景的空洞填充；

步骤4， 利用步骤1获得的前景图像位置，对在Kinect深度图像的前景位置中存在的空洞进行标记，再对标记后的空洞进行实时填充；具体步骤为：

步骤1.1：利用步骤1获得的前景图像位置，检测当前Kinect深度图像的前景图像在最

深深度图像空洞填充前是否存在空洞，如果存在空洞，则对深度图像的前景图像的空洞进行标记；

步骤1.2：对位置为前景图像，且在深度图像中为非空洞的像素，进行数量(m)和像素值统计，获取这些像素的平均像素值，用该平均像素值对标记处进行填充，其表达式为：

(1)

其中，所述为标记处的深度值， 为前景图像位置，m为前景图像中为非空洞的像素个数。

2.根据权利要求1所述的一种对Kinect深度图像中的空洞进行实时填充的方法，其特征在于， 上述步骤1所述的用Kinect摄影机获取拍摄场景的彩色图像和与其对应的深度图像， 采用运行期高斯平均法提取彩色图像背景，得到背景图像，再采用背景差分法对Kinect彩色图像进行分割，获得前景图像，确定前景图像的位置和背景图像的位置，其具体步骤如下：

1.1 用Kinect摄影机获取拍摄场景的彩色图像和与其对应的深度图像；

1.2 采用运行期高斯平均法提取Kinect彩色图像背景，得到背景图像，其表达式为：

(2)

其中,(x，y)代表彩色图像中第x行、第y列处坐标，代表第i帧彩色图像(x，y)处的像素值，代表第i帧的背景图像(x，y)处的像素值，为根据不同拍摄环境设定的参数值；

1.3 采用背景差分法对Kinect彩色图像进行分割，获得前景图像，确定前景图像的位置和背景图像的位置，其表达式为：

(3)

其中，代表第i帧彩色图像(x，y)处像素与背景图像(x，y)处像素差异值，代表第i帧彩色图像(x，y)处的像素值，代表第i帧的背景图像(x，y)处的像素值；

1.4 当这个差异值大于设定的阈值T时，则判定该处为前景图像的位置或背景图像的位置，公式如下：

(4)

其中，所述为对获取的第i帧彩色图像分割后得到的前景图像的位置或背景图像的位置，代表第i帧彩色图像(x，y)处的像素值，代表第i帧的背景图像(x，y)处的像素值；=1代表彩色图像(x，y)处为前景位置，=0代表彩色图像(x，y)处为背景位置。

3.根据权利要求1所述的一种对Kinect深度图像中的空洞进行实时填充的方法，其特征在于，上述步骤2所述的利用Kinect深度图像构建最深深度图像(deepest depth image，DDI)，然后对该最深深度图像中的空洞进行填充，生成空洞填充后的最深深度图像，其具体步骤如下：

2.1 最深深度图像(deepest depth image， DDI)初始化：将Kinect深度图像序列的第一幅深度图像像素值作为最深深度图像DDI初始深度值；

2.2 从第二幅开始，每获取一幅深度图像，按照下述的最深深度值更新方法对最深深度图像DDI的初始深度值进行更新，确定最深深度图像非空洞像素值和空洞像素值，具体如下：

所述最深深度值更新方法如下：

2.2.1、当最深深度图像在其(x，y)处的像素值为最深深度图像中非空洞像素值时：

判断最深深度图像在其(x，y)处的像素值是否满足下列计算式(5)：

(5)

如果最深深度图像在其(x，y)处的像素值是满足下列计算式(5)，则将最深深度图像在其(x，y)处的像素值确定为非空洞像素值；

其中，为第i帧深度图像(x，y)处的像素值；为最深深度图像在其(x，y)处的像素值；为已获取的深度图像(x，y)处出现频率最高的像素值；

2.2.2、当最深深度图像在其(x，y)处的像素值为最深深度图像中空洞像素值时：

判断最深深度图像在其(x，y)处的像素值是否满足下列计算式(6)：

(6)

如果最深深度图像在其(x，y)处的像素值是满足下列计算式(6)，则将最深深度图像在其(x，y)处的像素值确定为空洞像素值；

其中，代表最深深度图像在其(x，y)处的像素值；代表已获取的深度图像中(x，y)处出现频率最高的像素值；

2.3建立以最深深度图像空洞中的像素位置为中心的搜索窗，其大小为像素，将搜索窗内非空洞中的像素，记为，其彩色值记为，设最深深度图像空洞中的像素的彩色值，记为，如果搜索窗内最深深度图像空洞中像素的彩色值与非空洞中像素的彩色值之间的误差最小时，即，的值最小时，则认定搜索窗内非空洞中的像素彩色值与空洞中的像素的彩色值相近，

统计搜索窗内非空洞中与空洞中的像素的彩色值相近的像素，统计后得到相近的像素的个数为n，计算出上述相近的像素加权平均像素值，将计算出的加权平均像素值对最深深度图像中的相应空洞进行填充，其表达式为：

(7)

式(7)中的权值的计算式为：

(8)

其中，所述第i帧最深深度图像空洞中的像素为，非空洞中的像素为，在彩色图像中对应的像素为，表示搜索窗内的范围，代表在搜索窗中，非空洞中与空洞像素对应彩色像素值相近的像素数，占所有与空洞中像素对应彩色像素值相近的像素数的比例。