[发明专利]一种融合改进Census图的局部场景三维重建方法

权利要求书

1.一种融合改进Census图的局部场景三维重建方法，其特征在于，包括以下步骤：

S1,获取环境的彩色图和深度图，将彩色图灰度化后计算包含关键点及其邻域像素块的改进Census图；所述步骤S1进一步包括：

S11，通过RGB-D相机获取环境的彩色图和深度图，读取彩色图数据和深度图数据；

S12，将步骤S11中读取的彩色图数据灰度化，并基于以下改进的Census变换算法计算关键点及其周围新的Census描述图与二进制码：

对于关键点及其周围的每个像素X，将其像素值与局部8邻域像素Ne(X)内的所有像素值从上到下，以“Z”字形依次进行大小比较，得到描述向量d(I(X_i),I(X_i+1))，

S13，8位描述向量d(I(X_i),I(X_i+1))组成了8通道的Census变换子C(X)，进而得到局部Census图；

S2，基于步骤S1获取的关键像素块的改进Census图和灰度值，预判当前帧的位姿，并进行当前帧是否为关键帧的判断，若是，继续步骤；若否，返回步骤S1，重复步骤S1-S2；本步骤中，联合上一帧与当前帧的关键像素块的局部Census图与灰度图，使用直接法进行位姿估计，迭代优化方法为g2o图优化算法，所述直接法优化目标函数为：

其中，T为上一帧到当前帧的位姿变换；为光度误差；为Census二进制码的汉明距离；ω_x为相对权重；Ω为对当前帧中具有明显梯度值且深度不为0的像素点进行非最大值抑制并排序，其前N个有效梯度点的集合；

S3，对经步骤S2筛选后的最新关键帧的深度图分别进行联合双边滤波和体素格滤波；

S4，对当前关键帧与上一关键帧经过步骤S3中体素格滤波后获取的深度图使用添加尺度因子s的ICP算法优化匹配位姿；

S5，将当前帧经过联合双边滤波的深度图与局部图融合，重复S1到S4，直至完成局部场景的三维重建。

2.如权利要求1所述的一种融合改进Census图的局部场景三维重建方法，其特征在于所述步骤S2中是否为关键帧的判断依据为：(1)与上一关键帧中彩色图关键点的重合率小于70％；(2)两帧间的灰度图或Census图的误差大于阈值t_E，或者位姿估计值较大；(3)相机遭遇突然的剧烈运动或者无特征区域，轨迹跟踪丢失，相机需要重定位；以上依据满足其一，即结果为是。

3.如权利要求2所述的一种融合改进Census图的局部场景三维重建方法，其特征在于所述步骤S4进一步包括：

S41，经过步骤S3，获取经过体素格滤波器滤波后的上一关键帧的深度图，选取深度图中的一点；

S42，计算步骤S41选取点的匹配点；

S43，基于极小化匹配点到当前帧平面的距离，更新当前关键帧的位姿，优化匹配位姿。

4.如权利要求3所述的一种融合改进Census图的局部场景三维重建方法，其特征在于所述步骤S42中，采用投影算法计算匹配点，所述当前帧彩色图中的真实投影像素坐标(u_i,v_i)满足以下表达式：

其中，为关键帧深度图中的某一点的三维坐标；T_rc为关键帧到当前帧的位姿转换矩阵；K为相机内参数。

5.如权利要求3或4所述的一种融合改进Census图的局部场景三维重建方法，其特征在于所述步骤S43中极小化匹配点到当前帧平面的距离的目标函数为：

其中，为当前关键帧中匹配点的法向量；s_i是常数；ΔR只有三个自由度；

将目标函数线性化后对位姿参数ΔR和Δt求导并令导数为0，计算求解得到位姿参数。