[发明专利]深度图像的处理方法及装置

权利要求书

1.一种深度图像的处理方法，其特征在于，包括：

输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果；

所述基于所述边界图确定边界掩膜包括：

对于需要滤波填补的像素p的深度值D_p，定义对应的边界掩膜M：

其中，所述p和所述q分别为所述深度图像中的像素点，所述Ω是所述预设的滤波器的空间域窗口，所述Λ是所述边界图像的边界像素集合；

所述预设的滤波器为：

其中，所述是像素p填补后的深度值，所述是填补像素p之前深度图像中像素q的深度值，所述I_p和所述I_q分别是所述彩色图像中像素p和像素q的色彩值，所述k_p为一个归一化参数，所述Ω是滤波器的空间域窗口，所述f为空间滤波核，所述g为亮度滤波核。

2.如权利要求1所述的方法，其特征在于，所述通过预设的滤波器对所述深度图像进行多个预设方向的滤波包括：

通过所述预设的滤波器对所述深度图像进行四个方向的滤波，所述四个方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

3.如权利要求1所述的方法，其特征在于，所述通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果包括：

通过最小化马尔科夫随机场模型的能量函数，确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的其中一个；

所述能量函数E为：

其中，所述d_p是所述标签l_p的惩罚值，所述是邻域像素对的集合，所述V_pq代表像素p取l_p且像素q取l_q的惩罚值，所述λ是一个权重参数。

4.一种深度图像的处理装置，其特征在于，包括：

输入单元，用于输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

确定单元，用于从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

滤波单元，用于基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

补全单元，用于通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果；

所述确定单元具体用于：

对于需要滤波填补的像素p的深度值D_p，定义对应的边界掩膜M：

其中，所述p和所述q分别为所述深度图像中的像素点，所述Ω是所述预设的滤波器的空间域窗口，所述Λ是所述边界图像的边界像素集合；

所述预设的滤波器为：

其中，所述是像素p填补后的深度值，所述是填补像素p之前深度图像中像素q的深度值，所述I_p和所述I_q分别是所述彩色图像中像素p和像素q的色彩值，所述k_p为一个归一化参数，所述Ω是滤波器的空间域窗口，所述f为空间滤波核，所述g为亮度滤波核。

5.如权利要求4所述的装置，其特征在于，所述滤波单元具体用于：

通过所述预设的滤波器对所述深度图像进行四个方向的滤波，所述四个方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

6.如权利要求4所述的装置，其特征在于，所述补全单元具体用于：

通过最小化马尔科夫随机场模型的能量函数，确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的其中一个；

所述能量函数E为：

其中，所述d_p是所述标签l_p的惩罚值，所述是邻域像素对的集合，所述V_pq代表像素p取l_p且像素q取l_q的惩罚值，所述λ是一个权重参数。