[发明专利]一种动态场景下基于语义分割的直接法视觉定位方法

权利要求书

1.一种动态场景下基于语义分割的直接法视觉定位方法，其特征在于，包括以下步骤：

步骤1、采集原始图像，并利用深度学习中的图像语义分割技术分割所述原始图像中的动态物体，获得包含动态物体像素级语义信息的语义图像；

步骤2、在所述原始图像中提取候选点，并根据步骤1获取的语义图像剔除动态区域候选点，仅保留静态区域候选点；

步骤3、基于步骤2中保留的静态区域候选点，结合图像金字塔模型和步骤1获取的语义图像估计相机位姿；

步骤4、基于滑动窗口和步骤1获得的语义图像对关键帧位姿进行优化；

在步骤2中，在原始图像中提取候选点，并保留静态区域候选点，具体包含如下步骤：

步骤2.1、对于关键帧I_i，将其划分成d×d的图像块；

步骤2.2、设定梯度阈值T，对于每一个图像块，选择在该图像块的所有像素点中梯度最大且大于阈值T的像素点p作为预选候选点；

步骤2.3、若图像块中所有像素点的梯度均小于阈值T，令T′＝0.75×T，选择在该图像块的所有像素点中梯度最大且大于阈值T′的像素点p作为预选候选点；

步骤2.4、设定像素间隔D，记p点上、下、左、右间隔为D的四个像素点为p₁，p₂，p₃，p₄；

步骤2.5、对于p点及其相邻的p₁，p₂，p₃，p₄，根据语义图像中对应位置的像素值判断是否将p点保存为候选点：

若中，有一项为0，则认为预选候选点p处于动态区域，执行剔除操作；

若全部为1，则认为预选候选点p处于静态区域，执行保留操作；

在步骤3中，采用金字塔模型恢复相机运动，具体包含如下步骤：

步骤3.1、对于关键帧I_i，以0.5的缩放因子对图像进行缩放，分别获得相对于I_i分辨率的图像，将I_i与缩放后的三张图像按照分辨率由低到高的顺序构造图像金字塔，图像金字塔第k层图像记为并对金字塔各层进行如步骤2所述的静态区域候选点提取；

步骤3.2、对于后续帧I_j及其对应的语义图像构造与步骤3.1同样的图像金字塔，图像金字塔第k层的图像和对应的语义图像分别记为和

步骤3.3、对于中的单个候选点p，计算其投影到图像上形成的光度误差：

其中，p′是p在上的投影点，t_i和t_j分别是图像I_i和I_j的曝光时间，a_i，a_j，b_i，b_j是图像的光度传递函数参数，N_p是包括p点及周围相邻点共8个点的集合，w_p是权重因子，||.||_γ是Huber范数；

步骤3.4、对于每个候选点p，根据其在中投影点p′的位置，计算一个剔除标签决定该点的投影残差是否去除：

步骤3.5、将中各点的投影残差进行累加，并剔除投影到动态区域的残差，得到了金字塔第k层的投影残差和：

步骤3.6、以在k-1层的相对位姿优化结果T^k-1作为本次优化的初值，利用高斯牛顿法对进行优化，可以获得第k层的关键帧和第k层的后续帧之间的相对位姿T^k；

步骤3.7、对金字塔的所有层按照由上至下的顺序重复步骤3.3-3.6，最终获得关键帧I_i和后续帧I_j之间的相对位姿。