[发明专利]一种基于多态约束卡尔曼滤波的手持式三维重建方法

说明书

本发明公开了一种一种基于多态约束卡尔曼滤波的手持式三维重建方法，引入基于多态约束卡尔曼滤波算法的紧耦合视觉惯性里程计，并在多态约束卡尔曼滤波算法中观察多帧图像和延迟线性化；所述多态约束卡尔曼滤波算法包括状态发布和状态更新，所述状态发布包括从IMU向量中计算并发布出状态和协方差矩阵，所述状态更新包括状态增强、图像处理、更新和状态管理。本发明能够实现大场景高精度的三维重建。

技术领域

本发明属于三维采集、重建技术领域，具体涉及一种基于多态约束卡尔曼滤波的手持式三维重建方法，可应用于project Tango设备。

背景技术

随着人工智能时代的到来，在机器人导航、无人驾驶和测绘等场合对于三维重建的应用日渐增多。基于视觉惯性里程计(Visual–Inertial Odometry，VIO)的三维重建系统是目前研究的关键问题，而如何将三维重建系统应用到运算资源受限的手机设备上也亟待解决。VIO将融合视觉和惯性测量单元(Inertial Measurement Unit，IMU)的信息，利用滤波的方法进行多传感器的数据融合是一种常见的方法。传统的纯视觉的三维重建系统存在以下问题：(1)相机抖动或迅速移动情况下，导致帧与帧之间重叠较少难以特征匹配，视觉信息在此过程中失效，无法准确对模型进行三维重建；(2)基于多幅特征单帧图像获取位姿，极易受到目标状态变化干扰，对姿态解算产生误差，建立错位三维重建模型；(3)传统三维重建系统算法实时线性化方法导致算法复杂，实时性差，对三维重建设备性能要求较高。

近年来，研究者对以上问题进行许多探索性研究，根据Kaiser的分类方法，VIO分成基于滤波(filter-based)和基于优化(optimization-based)两个大类。基于滤波的视觉惯性里程计，利用最大后验概率估计(Maximum a posteriori estimation,简称MAP)的方法，姿态的先验分布和似然分布分别由内部传感器和外部传感器测量建立。基于优化的视觉惯性里程计，利用最大似然估计(Maximum likelihood estimation,简称MLE)的方法，迭代地找到测量的总概率最高的状态，把批处理过程转化成求解线性代数方程组。根据特征向量中是否包含视觉特征信息，VIO又可以分为松耦合(loosely-coupled)和紧耦合(tightly-coupled)。其中，基于优化的松耦合代表是Falquez提出的惯性辅助方法，该方法将视觉里程计得到的位姿变换融合到惯性测量的优化框架中，但是该方法进行信息融合时，分别处理相机和IMU测量结果不可能对偏差进行最佳估计，导致误差较大。基于优化的紧耦合代表是OKVIS，该方法将惯性测量紧密集成到基于关键帧的视觉系统中，获得重力方向的全局一致性和使用IMU运动学运动模型的鲁棒离群值排除，对比纯视觉和松耦合方法，OKVIS表现出更高的精度和鲁棒性。但是OKVIS需要建立以一个统一的损失函数进行联合优化，导致该算法运算复杂，难以在移动设备上进行使用。基于滤波的松耦合方案较为简单，不把图像的特征信息加入状态向量，而是先对视觉里程计处理后再和惯性数据进行融合，其中较为优秀的是Stephen Weiss等人提出的MSF(Multi-Sensor Fusion，多传感器融合)方法。但是，该方法的缺陷是需要进行失败检测，导致算法占用较多的运算资源，不易应用在移动设备上。

发明内容

本发明的发明目的是提供一种基于多态约束卡尔曼滤波的手持式三维重建方法，能够实现大场景高精度的三维重建。

为达到上述发明目的，本发明采用的技术方案是：一种基于多态约束卡尔曼滤波的手持式三维重建方法，引入基于多态约束卡尔曼滤波算法的紧耦合视觉惯性里程计，并在多态约束卡尔曼滤波算法中观察多帧图像和延迟线性化；

所述多态约束卡尔曼滤波算法包括状态发布和状态更新，

所述状态发布包括从IMU向量中计算并发布出状态和协方差矩阵，所述状态更新包括状态增强、图像处理、更新和状态管理。

上述技术方案中，所述状态增强，用当前IMU位置和方向增加状态向量以及对应的协方差矩阵；