[发明专利]基于双目RGB-D相机深度轮廓估计方法

权利要求书

1.一种基于双目RGB-D相机深度轮廓估计方法，其特征是，RGB-D表示彩色和深度图像；首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像；具体步骤如下：

1)获得低分辨率的深度边缘信息

先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘

2)生成深度边缘的高分辨率散点图

利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图

3)生成高分辨率的连续的深度轮廓

针对彩色边缘图像中边缘点的像素位置x，将其邻域N(x)内的边缘信息转换至一维表示的坐标对，即得到坐标散点集X＝x_i及点集X对应的值f(x_i)；然后对于需要进行差值的位置x，最小化其拟合函数的加权最小二乘误差p(·)：

其中，θ(·)代表非负权重函数，∑·是求和运算，||·||为欧几里得距离，经过移动最小二乘MLS拟合插值后，进行逆变换即一维转换为二维，得到连续的深度轮廓图像

4)生成高分辨率的深度图像D_L

联合使用非线性变换及canny检测算子提取彩色图像边缘，以避免单独使用canny检测算子出现的过度细致纹理，完成深度图像的视点配准，得到高分辨率的深度图像D_L；

5)联合深度散点-彩色边缘，对深度轮廓矫正优化：

其中，x是彩色边缘图像中边缘点的像素位置，N_d(x)、分别对应该位置在主视点深度图像D_L、高分辨率深度轮廓图像彩色边缘图像E_c中的邻域区域；T(·)代表二维转换为一维的变换操作；G(·)为高斯核，代表彩色边缘约束项，▽(·)为梯度运算，公式(2)的物理意义为若同一像素位置处的深度轮廓和彩色边缘具有相同变化趋势即曲率，则认为该像素点是深度轮廓点的可能性较大，其中，R(·)代表了主视点深度图像对应的约束项，定义为：

其中，i,j＝1,2,3,4代表邻域N_d(x)的上、下、左、右四个子区域，N_th1和D_th1分别为有效深度值总数量和深度均值差异的阈值，该约束项表示，在四个邻域子区域中，只要有任意两个子区域具有相似的有效深度值数量和深度均值，那么就认为该邻域是深度平滑区域，即该邻域范围内不存在深度轮廓，那么该像素位置不应存在深度轮廓信息，即E_d(x)＝0。