[发明专利]具有一般和全景相机移动的单眼视觉SLAM

权利要求书

1.一种用于单眼视觉同时局部化和映射的机器实施的方法，所述方法包括：

接收环境的三维3D地图，其中所述3D地图包括：

在两个或两个以上关键帧中观察到的具有有限深度的特征，其中每一关键帧为全景关键帧或常规关键帧，以及

在一个或一个以上全景关键帧中观察到的具有无限深度的特征，其中无限特征为不具有所估计的深度的特征；

在相机从六个自由度6DOF移动转变为朝未映射场景区的全景相机移动后，即刻选择参考全景关键帧，其中所述全景相机移动为三个自由度3DOF中的旋转相机移动，且其中所述6DOF移动包括除旋转移动之外或不同于旋转移动的移动；

通过将来自所述参考全景关键帧的所述观察到的具有有限深度的特征和所述观察到的具有无限深度的特征添加到所述3D地图，将所述参考全景关键帧并入到所述3D地图中；以及

从在来自输入图像馈送的图像帧内观察到的所述3D地图的有限或无限深度特征，以6DOF移动跟踪相机。

2.根据权利要求1所述的机器实施的方法，其进一步包括：

初始化寄存在所述3D地图内的局部全景地图，其中寄存在所述3D地图内的所述局部全景地图的所述初始化包括：

将所述参考全景关键帧指派给所述局部全景地图，以及

以所述参考全景关键帧的所述6DOF姿势将所述局部全景地图寄存在所述3D地图内。

3.根据权利要求1所述的机器实施的方法，其进一步包括：

在朝未映射场景区的连续全景相机移动后，即刻选择一个或一个以上从属全景关键帧，其中所述一个或一个以上从属全景关键帧依赖于参考全景关键帧；

通过将所述观察到的具有无限深度的特征添加到所述3D地图，将所述一个或一个以上从属全景关键帧并入到所述3D地图中；以及

通过将所述一个或一个以上从属全景关键帧添加到局部全景地图来扩展所述局部全景地图。

4.根据权利要求1所述的机器实施的方法，其进一步包括相对于所述3D地图来使所述一个或一个以上全景关键帧局部化，其中所述局部化包括：

找出所述一个或一个以上全景关键帧内的所述有限深度特征的二维2D观察；

确定所述3D地图与所述有限深度特征的所述2D观察之间的3D-2D对应性；以及

使用所述3D-2D对应性来估计所述一个或一个以上全景关键帧的所述6DOF相机位置和定向。

5.根据权利要求1所述的机器实施的方法，其进一步包括将来自第一经局部化全景关键帧的无限深度特征转换成所述3D地图的新的有限深度特征，其中所述转换包括：

找出第二经局部化关键帧内的所述无限深度特征的2D观察，其中所述第二经局部化关键帧是经局部化的全景关键帧或经局部化的常规关键帧；

从所述第二经局部化关键帧的所述2D观察确定2D-2D对应性；以及

对所述新的有限深度特征进行三角测量，其中所述对所述新的有限深度特征进行三角测量是基于所述2D-2D对应性，以及关键帧对的6DOF相机位置和定向。

6.根据权利要求1所述的机器实施的方法，其中所述跟踪进一步包括：

建立所述3D地图的所述有限深度和所述无限深度特征与来自输入图像馈送的图像帧之间的对应性；以及

基于所述所建立的对应性来估计6DOF相机位置和定向。

7.根据权利要求1所述的机器实施的方法，其中所述跟踪进一步包括：

在仅观察到来自输入图像馈送的图像帧内的无限深度特征后，即刻从6DOF相机移动跟踪切换到全景相机移动跟踪；以及

在观察到来自所述输入图像馈送的所述图像帧内的有限深度特征后，即刻从全景相机移动跟踪切换到6DOF相机移动跟踪。