[发明专利]基于暂停信息补充机制的视觉里程计旋转运动处理方法

说明书

本发明公开一种基于暂停信息补充机制的视觉里程计旋转运动处理方法，包括以下步骤：步骤1、监控图像帧并判定图像帧运动类别；步骤2、根据步骤1的判定结果切换数据流流向；并将图像帧分为三类：旋转初始帧RB、旋转过程帧R1，R2，…，Rn和旋转结束帧RE；旋转初始帧RB用于继承当前的摄像机位姿信息，为后续帧提供初始化；旋转过程帧R1，R2，…，Rn用于整合旋转图像进行计算；旋转结束帧RE用于处理每次旋转的累计误差并连接到普通计算流程；步骤3、进行图像帧匹配和位姿计算，完成相机旋转的图像处理；根据图像帧数量，对位姿计算结果进行误差优化处理；步骤4、后端数据优化。

技术领域

本发明属于图像/图形处理领域，涉及目标定位、相机位姿计算以及环境地图表示，能够实现在旋转运动情况下维持视觉里程计算法鲁棒性。

背景技术

同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)是指在没有任何环境先验信息且自身位姿信息不确定的条件下，无人平台基于搭载的传感器在移动过程中进行位姿估计，同时以增量的形式对周围环境进行感知、构建特定形式地图的过程。随着计算机视觉技术的进步和运算能力的快速提高，基于视觉传感器的SLAM技术研究发展迅速，研究者们提出一系列具有代表性的方法包括特征点法[1-2]、直接法[3-5]和混合法[6]等。

针对SLAM视觉里程计旋转运动问题，Gauglitz等人[7]提出一种同时支持一般的和退化的摄像机运动的SLAM算法。该方法采用几何稳健信息准则来判断运动状态变化，并将一般模型和旋转模型综合考虑。Pirchheim等人[8]提出一种利用旋转帧生成全景子图的方法，并尽可能多地利用图像信息而不是简单抛弃它们。该方法基于关键帧SLAM系统，将特征分为有限点和无限点两类。Zhou等人[9]研究了半稠密SLAM系统中旋转运动的鲁棒性，建立一个基于LSD-SLAM[4]的概率模型。Liu等人[10]提出一种基于特征跟踪和位姿优化的多单应滑动窗口方法，并制作一个Android版本的程序来实践算法的鲁棒性效果。Lakshmi等人[11]提出一种同时考虑两种运动类型光度残差的方法来抵抗旋转运动。SLAM在特定应用场景下的鲁棒性问题仍需深入研究，本专利主要关注摄像机旋转带来的运动退化问题。

综上所述，现有的不同类别的算法均能在精度和稳定性指标上体现出优良的性能。国内研究人员对SLAM应用及模块改进取得部分成果[12-13]，但是没有对旋转等特殊运动情况进行充分探讨和研究，现有SLAM算法的视觉里程计模块所考虑的相机运动情况被认为是稳定的、不退化的运动状态，这对VR/AR等类似应用情况是不利的。在一般运动状态下，相机位姿是由六自由度的参数表示；当相机发生旋转或近似旋转的运动时，由于位置参数不发生变化，自由度降为3。视觉里程计无法直接解决自由度变化问题，这是多数算法不曾考虑的情况。

参考文献：

[1]Klein G，Murray D.Parallel tracking and mapping for small ARworkspaces[C]//The 6th IEEE and ACM International Symposium on Mixed andAugmented Reality.IEEE，2007: 225-234.

[2]Mur-Artal R，Montiel J M M，Tardos J D.ORB-SLAM:a versatile andaccurate monocular SLAM system[J].IEEE Transactions on Robotics，2015，31(5):1147-1163.

[3]Newcombe R A，Lovegrove S J，Davison A J.DTAM:Dense tracking andmapping in real-time[C]//2011 International Conference on ComputerVision.IEEE，2011:2320-2327.