[发明专利]一种基于双目相机与惯导传感器信息融合的定位方法

说明书

本发明公开了一种基于双目相机与惯导传感器信息融合的定位方法，包括以下步骤：采集机器人周边图像序列；对获取的图像帧，使用FAST特征点提取算法，并引入四叉树快速筛选特征点；对获取的图像帧，使用LSD线特征提取算法提取线特征，使用LBD算法计算线特征描述子；针对前后图像帧提取的FAST特征点进行跟踪匹配，获取帧间估计位姿，将前后帧中的点、线特征重投影到当前帧，对线特征进行跟踪匹配；确认当前帧是否为关键帧，若是则获取前后帧间IMU传感器数据，并对其进行预积分，同时将当前帧加入滑动窗口；结合滑窗内已配对的点线特征约束与IMU预积分紧耦合进行后端优化，输出较为准确的帧间运动位姿。

技术领域

本发明涉及机器视觉与定位导航技术领域，具体涉及一种基于双目相机与惯导传感器信息融合的定位方法。

背景技术

智能机器人依靠丰富的传感器感知环境信息，并将相关的环境信息用于算法级的融合，得到有关机器人自身状态和周围环境的综合信息，进而作为控制决策的输入。而相机采集的图像信息丰富可以提高重定位精度，但相机频率较低，受光照和物体表面纹理影响较大；IMU短时间虽然可以高频率测量机器人的位姿，但漂移严重，需要其他传感器辅助校正才能继续工作。因此基于多传感器融合的即时定位算法综合利用了多种传感器的优点，可在智能机器人上实现高精度与高鲁棒性位姿确定与地图构建。

现有的以点特征为主的视觉定位系统主虽然在纹理丰富的特定场景能够完成即时定位，但是室内环境下，通常存在弱纹理区域，如走廊通道里大面积的白墙。且小区域范围的通道内可能光线变化剧烈。这些真实存在的场景条件都将导致基于点特征的视觉定位技术无法正常工作。而惯性测量单元(IMU)集成了陀螺仪和线加速度计部件，对大尺度运动状态有很强的适应性，能较高频率地输出角速度和线加速度，对其积分可获取机器人实时运动位姿变换，但仍存在累积误差和尺度漂移问题，因此视觉信息与IMU信息具有很强的互补性，视觉位姿约束可以校正IMU漂移，而IMU可以为单目视觉提供绝对尺度信息。尽管如此，单目视觉初始化对环境和相机运动要求严格，如果环境纹理信息较少、相机运动过小或者过大都容易导致初始化失败。

发明内容

本发明的目的是在节省成本且保证可靠的前提下，提供了一种基于双目相机与惯导传感器信息融合的定位方法，提出应用IMU数据与视觉点线特征紧耦合的机制进行室内机器人视觉定位，实现机器人在复杂环境中准确快速的位姿解算。

本发明至少通过如下技术方案之一实现。

一种基于双目相机与惯导传感器信息融合的定位方法，包括以下步骤：

步骤S1、采集机器人周边图像序列；

步骤S2、对获取的图像帧，使用改进后的FAST特征点提取算法，并引入四叉树快速筛选特征点，使得FAST特征点分均匀分布；

步骤S3、提取图像帧的线特征，计算线特征描述子；

步骤S4、对前后图像帧提取的FAST特征点进行跟踪匹配，获取帧间估计位姿，再由该估计位姿，将前后帧中的点、线特征重投影到当前帧，并对线特征进行跟踪匹配；

步骤S5、确认当前帧是否为关键帧，若非关键帧则丢弃当前帧，并把其视觉信息与IMU预积分信息暂存传递给下一帧；

步骤S6、将当前帧加入滑动窗口，结合滑窗内已配对的点线特征约束与IMU预积分紧耦合进行后端优化，输出帧间运动位姿。

优选的，所述改进后的FAST特征点提取算法具体为：根据图像大小划分网格；遍历每个网格，在每个网格上提取FAST特征点，将图像视为一个N叉树根节点，即N等分，如果根节点特征点个数大于1，则把该节点迭代等分生成四个子节点，迭代终止条件为当某个子节点内只含一个特征点或不含特征点；最终选取的特征点即为最优。

优选的，步骤S3具体是使用LSD线特征提取算法提取线特征，并使用LBD算法计算线特征描述子。