[发明专利]具有一般和全景相机移动的单眼视觉SLAM

摘要

本发明揭示一种用于单眼视觉同时局部化和映射的系统、设备和方法，其处置一般6DOF和全景相机移动。接收环境的3D地图，所述3D地图含有在常规或全景关键帧中观察到的具有有限或无限深度的特征。从有限、无限或混合特征集合，以6DOF跟踪所述相机。在检测到朝未映射场景区的全景相机移动后，即刻创建具有无限特征的参考全景关键帧，并将其插入到所述3D地图中。当全景相机移动朝未映射场景区扩展时，用进一步的从属全景关键帧来扩展所述参考关键帧。全景关键帧相对于有限3D地图特征，以6DOF稳健地局部化。经局部化的全景关键帧含有无限地图特征的2D观察，其与其它经局部化关键帧中的2D观察匹配。对2D‑2D对应性进行三角测量，从而产生新的有限3D地图特征。

主权项

1.一种用于单眼视觉同时局部化和映射的机器实施的方法，所述方法包括：接收环境的三维3D地图，其中所述3D地图包括：在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧为全景关键帧或常规关键帧，以及在一个或一个以上全景关键帧中观察到的具有无限深度的特征，其中无限特征为不具有所估计的深度的特征；在相机从六个自由度6DOF移动转变为朝未映射场景区的全景相机移动后，即刻选择参考全景关键帧，其中所述全景相机移动为三个自由度3DOF中的旋转相机移动，且其中所述6DOF移动包括除旋转移动之外或不同于旋转移动的移动；通过将来自所述参考全景关键帧的所述观察到的具有有限深度的特征和所述观察到的具有无限深度的特征添加到所述3D地图，将所述参考全景关键帧并入到所述3D地图中；以及从在来自输入图像馈送的图像帧内观察到的所述3D地图的有限或无限深度特征，以6DOF移动跟踪相机。