[发明专利]一种动态环境下基于点线特征的语义SLAM方法

说明书

本发明涉及一种动态环境下基于点线特征的语义SLAM方法，有如下步骤：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配。本发明通过点线特征和语义信息结合去除动态的方式，提高了SLAM方法在高动态的环境中运行的精度和鲁棒性，在高动态环境下精度大幅度提高。

技术领域

本发明涉及无人机自主巡检中基于视觉的定位与导航领域，更具体地，涉及一种动态环境下基于点线特征的语义SLAM方法。

背景技术

无人机智能巡检过程中需要无人机根据当前所处环境的实时信息、自主确定下一步操作。因此对无人机进行实时定位与工作环境建图是无人机智能巡检过程中的重要环节。尤其是在网格化布置的多无人机协同工作中，每个无人机所检测到的环境都是动态场景(包含时有时无的移动物体)，因此在定位和环境建图过程中还需针对动态场景开发专用算法。

同时定位与建图(Simultaneous Localization and Mapping,SLAM)是一种在没有任何环境先验信息的情况下，能通过传感器由相应的运动估计算法估计出当前的位置和姿态，并建立环境的三维地图的技术。随着计算机视觉和深度学习技术的发展，以及硬件计算能力的提高，基于视觉的SLAM研究不断深化，并广泛应用于自主驾驶、移动机器人和无人机等领域。

公开号为“CN110322511A”，公开日为2019年10月11日的中国专利申请文件公开了一种基于物体和平面特征的语义SLAM方法和系统，获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。本发明可以提升SLAM优化性能，并增强对环境的语义描述。但是在上述的方法中，采用了点特征提取匹配的方式，但是点特征提取的场景信息少，一旦在缺少重复、可靠点特征的低纹理场景，可能出现初始化失败，重定位失败等问题。如果在一些高动态场景下，动态特征点被删除过多，无法找到足够多可靠的点特征匹配对，会造成系统定位精度下降，鲁棒性差等问题。

发明内容

本发明为克服上述现有技术中高动态场景下SLAM方法检测精度和鲁棒性低的问题，提供一种动态环境下基于点线特征的语义SLAM方法，通过点线特征和语义信息结合去除动态的方式和采用点线特征结合的提取特征方式，在高动态场景下具有高精度和高鲁棒性。

为解决上述技术问题，本发明采用的技术方案是：一种动态环境下基于点线特征的语义SLAM方法，包括以下步骤：

步骤一：标定相机，去除图像畸变，获得去畸变之后的图像序列；

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；

步骤三：对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；

步骤四：计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配；

步骤五：点线特征匹配策略进行相机初始位姿估计，包括恒速模型估计、参考关键帧估计以及重定位；