[发明专利]基于神经网络的SLAM中障碍物过滤方法和装置

说明书

本申请公开了一种基于神经网络的SLAM中障碍物过滤方法和装置，涉及SLAM领域。该方法包括：从动态数据集中获取图像；使用Mask‑RCNN对所述图像进行障碍物检测，从静态场景中分离出障碍物；根据所述分离出障碍物后的图像，使用ORB‑SLAM2基于特征匹配的估计过程进行定位和映射。该装置包括：获取模块、检测模块和定位模块。本申请解决了在vSLAM出现移动遮挡物的情况，采用Mask‑RCNN与ORB‑SLAM2相结合的方式实现了障碍物的过滤，而且通过引入Mask‑RCNN获得了更稳定和准确的定位性能。

技术领域

本申请涉及SLAM领域，特别是涉及一种基于神经网络的SLAM中障碍物过滤方法和装置。

背景技术

vSLAM(Visual Simultaneous Localization And Mapping，基于视觉的即时定位与地图构建)是近来的研究热点之一，其主要的任务是搞清楚三个问题，“在哪里”，“要去哪里”，以及“怎么去”。数字图像的特征点检测是计算机视觉研究中的重要组成部分，现有的研究中图像匹配问题通常使用传统的特征点检测方法来处理。

1999年，Lowe提出了SIFT(Scale-invariant feature transform，尺度不变特征转换)方法，它在空间尺度中寻找极值点，提取出其位置、尺度、旋转不变量，并于2004年完善总结。该方法实时性不高，仅能在小型特征数据库的条件下获得较好的匹配效果。2006年，Bay等人提出了SURF(Speeded Up Robust Features，加速鲁棒性特征)方法。该方法通过利用森海行列式的斑点检测方法在不同的二维空间尺度进行近似哈尔小波值计算，提高了整体的特征检测效率。2011年，Rublee等人提出了对SIFT、SURF的有效替代方法ORB(Oriented FAST and Rotated BRIEF)，该方法结合FEST(Features from AcceleratedSegment Test，加速分段式检测特征)与BRIEF(Binary Robust Independent ElementaryFeatures，二值鲁棒独立基础特征法)引入了方向的计算方法，使用贪婪搜索方法来挑选区分性较强的点对来进行对比判断，从而生成二进制的描述子。取得了较好的结果，也是目前比较普遍使用的方法。

随着人工智能的兴起和深度学习的发展，基于卷积神经网络进行研究成为了计算机视觉领域的研究热点，并大多取得了较好的结果。

传统的视觉里程计特征点检测方法，通常考虑图片中的像素灰度值信息和梯度信息进行匹配，并且都认为环境是静止的，忽略了移动障碍物的影响。事实上，在真实的环境中，移动的障碍物是无法避免的，如果在运动物体上有多个特征点，则系统将运动物体作为路标，这将导致对测程的错误估计。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于神经网络的SLAM中障碍物过滤方法，包括：

从动态数据集中获取图像；

使用Mask-RCNN对所述图像进行障碍物检测，从静态场景中分离出障碍物；

根据所述分离出障碍物后的图像，使用ORB-SLAM2基于特征匹配的估计过程进行定位和映射。

可选地，使用Mask-RCNN对所述图像进行障碍物检测，从静态场景中分离出障碍物，包括：

使用来自MSCOCO数据集的经Mask-RCNN训练好的模型，将其模式修改为人类类别视为障碍物后，对所述图像进行检测，在检测到障碍物之后输出去除障碍物后的图像。

可选地，所述方法还包括：

计算特征点的位置x与应出现在关键帧匹配图像中的位置f(x)之间的差值，将所述差值作为误差，并使用误差函数累加误差，进行算法评定。