[发明专利]一种利用并行计算加速的双目视觉惯性里程计方法

说明书

本发明提出一种利用并行计算加速的双目视觉惯性里程计方法，用于低性能处理器上的实时位置和姿态估计，属于定位技术领域。本发明基于VINS‑Fusion算法，对其视觉前端算法进行了改进，主要在于：多次光流跟踪的计算冗余去除、角点检测和光流跟踪的并行执行设计和基于FPGA的角点检测算法实现。本发明是一套基于优化的视觉惯性里程计方法，有效地缩短了算法的运行耗时，可用于低性能处理器上的实时位姿估计，定位精度高，鲁棒性好，具有良好的工程应用和推广价值。

技术领域

本发明涉及定位技术领域，具体涉及一种利用并行计算加速的双目视觉惯性里程计方法。

背景技术

视觉惯性里程计是一种基于单/双目相机和惯性测量单元(IMU)的自主定位技术。这项技术通过融合单/双目相机提供的视觉信息和IMU提供的设备运动信息，可以对设备的位姿做出准确快速的估计。该技术致力于解决在无法使用外部定位技术(如GPS和UWB定位技术)的情况下，处于未知环境中的无人移动平台对自身位姿的估计问题。在自动驾驶、无人机和增强现实等领域，这项技术已经催生了许多商业应用，比如苹果公司的增强现实解决方案ARkit和大疆公司的Mavic AIR无人机都采用了该技术进行位姿估计。

相比于其他无需依赖外部定位设备的定位方案，视觉惯性里程计在传感器的选择上具有独特的优势。与基于激光雷达的定位方案相比，IMU和相机的搭配方案成本低、重量轻，易于部署在小型移动平台上。与基于单/双目相机的定位方案相比，添加的IMU可以提供短时间内的准确估计，能够适应快速运动，弥补纯视觉的不足，还能提供尺度信息。

尽管在普通的个人计算机上，视觉惯性里程计算法已经有了很好的精度和速度表现，但由于其过大的计算负担，目前还很难在低性能处理器(比如ARM Cortex-A9)上做到实时处理。这限制了该算法在资源受限场景(比如手机和微型无人机)的应用。这些场景通常会附带有尺寸、重量、成本和功耗方面的要求，使得高性能的处理器无法使用。因此，对于运行在低性能处理器上的视觉惯性里程计算法，必须进行改进，以提升速度，改善算法的实时性。

现有的视觉惯性里程计算法一般包含前端和后端两部分。其中，前端的图像处理部分和后端的位姿估计部分是整套算法中计算量最大的部分，也是加快算法速度的关键。2012年，美国加州大学的Li Mingyang等人设计了一套融合EKF-SLAM(基于扩展卡尔曼滤波的同时定位与建图算法)和MSCKF(多状态约束下的卡尔曼滤波算法)的视觉惯性里程计算法，通过动态调整特征点数目和滑动窗口长度，对后端算法的耗时加以控制。但是，该方案没有对耗时较大的图像处理部分进行加速，也没有采用定位精度更高的优化方法进行位姿估计。2013年，德国Roboception GmbH公司的研究员Korbinian Schmid等人提出了一种基于双目立体匹配的视觉惯性里程计算法，其中，采用FPGA(可编程逻辑块)实现了SGM算法(半全局匹配算法)，可从双目图像快速恢复场景深度，但图像处理部分中的Harris角点检测算法仍在CPU上执行，没有获得速度提升。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种利用并行计算加速的双目视觉惯性里程计方法。本发明是一套基于优化的视觉惯性里程计方法，通过光流跟踪和角点检测的并行化、角点检测的FPGA加速和冗余计算的剔除，有效地缩短了算法的运行耗时，可用于低性能处理器上的实时位姿估计，具有良好的工程应用和推广价值。

本发明一种利用并行计算加速的双目视觉惯性里程计方法，该方法所有步骤被分配到两个线程中执行；其中，步骤1)到步骤9)在线程1中执行，步骤10)到步骤21)在线程2中执行；从第2帧图像开始，两个线程并行执行；在线程1中，在可编程逻辑块FPGA上执行的步骤2)与在CPU执行的步骤3)到步骤4)并行执行；其特征在于，该方法包括以下步骤：

1)从惯性测量单元IMU读取IMU数据，从双目相机读取双目图像数据并作为线程1的当前帧，其中每帧双目图像包含一张左目图像和一张右目图像；将该当前帧的左目图像发送给FPGA；