[发明专利]一种动态环境下结合语义的视觉定位系统和方法

说明书

本发明公开了一种动态环境中的单目视觉定位系统和方法，结合语义信息，实现对动态物体特征的剔除。通过单目摄像机实时采集环境图像，图像通过卷积神经网络实现物体检测，得到物体的语义信息，再进一步结合先验知识实现动态物体判定。使用ORB算法提取图像中的特征，并根据动态物体的位置剔除动态物体特征点。使用非线性优化的方法对相机位姿和3D点坐标进行局部集束调整，从而消除动态物体特征点的影响并提高定位精度。

技术领域

本发明涉及计算机视觉及移动机器人定位领域，尤其涉及一种动态环境下结合语义的视觉定位系统和方法。

背景技术

同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)是一种利用传感器信息建立环境地图并确定自身位姿的方法。使用相机作为传感器时称为视觉SLAM。建立实时、精确且鲁棒的SLAM系统对机器人、无人车等设备的定位具有重大意义，是实现导航和自主移动的基础。

传统的SLAM技术建立在静态环境下，不考虑环境物体的运动。而实际环境中，人的走动、车辆的来往都会造成环境动态变化，从而使SLAM系统建立的地图无法保持长时间的一致性，基于视觉的特征也会因为物体的运动而变得不稳定，SLAM系统在动态环境下的鲁棒性亟待提升。

为了使SLAM在动态环境下正常工作，需要避免使用处于动态物体上的特征点，因此需要事先计算出动态物体的位置。目前常用的动态物体提取方法都基于几何特征，当面对更加极端的动态环境时，比如人靠近镜头的走动，依然会失效。

目前，动态环境下的视觉定位的方法介绍如下，以场流法为例，流程图如图1所示。

该方法通过双目摄像机实时采集环境图像，通过特征提取算法提取图像中的特征点，对双目摄像机前后两个时刻采集的四幅图像进行立体匹配。利用双视几何原理恢复特征点三维信息。以回环匹配的方式提高匹配准确度。使用场流法剔除位于动态物体上的特征点。考虑可能引起误差的因素并通过计算协方差矩阵改善场流法效果。使用高斯牛顿迭代的方法由特征点位置信息求得机器人运动参数。使用RANSAC算法进一步提高视觉定位准确度。整个过程不断迭代，实现对机器人姿态和位置的实时计算。

在实现本发明的过程中，申请人发现上述现有技术存在如下技术缺陷：

(1)待删除的动态物体特征点根据场流法误差模型计算得出的马氏距离来决定，对不同运动形态和不同运动速度的物体使用固定的阈值会导致误差增大，无法正确判定物体的动态特性。

(2)场流法误差模型做了静态背景假设，只对小区域的运动物体具有检测能力，无法处理大型运动物体出现在视野中的情况。

(3)只把相邻帧之间发生运动的物体认做动态物体，而没有考虑物体本身的动态特性。比如人在相机前运动时，即使某个时刻处于静止状态，但仍应该看做动态物体予以剔除。

发明内容

(一)要解决的技术问题

有鉴于此，本发明提出一种动态环境下结合语义的视觉定位系统和方法，以期解决上述问题。

(二)技术方案

一种动态环境中的单目视觉定位系统，包括：物体检测模块，用于检测输入图像中物体的种类及所在位置，并输出检测结果；语义校正模块，用于接收所述检测结果，并根据物体种类将物体判定为动态物体或静态物体，输出判定结果；定位与建图模块，用于接收所述判定结果，并在图像中剔除所述动态物体。

在本发明一些示例性实施例中，所述语义校正模块包括：先验知识模块，包括动态物体判定模型，用于判定图像中的物体对应的动态特性分数；动态判定模块，用于比较所述动态特性分数和预先设定的阈值的大小，动态特性分数高于阈值的物体判定为动态物体，动态特性分数低于阈值的物体判定为静态物体。