[发明专利]用于相机跟踪的方法和设备

权利要求书

1.一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的方法，所述方法包括：

提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；以及

基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态，

其中，所述至少一个第二特征的每一个相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。

2.如权利要求1所述的方法，其中，所述跟踪多帧中的至少一个第一特征的步骤包括：

从多帧中的第一帧的至少三个图像中提取第三特征；

跟踪第三特征直到多帧中的最后帧；

通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征；以及

基于第一特征来估计多帧的每一帧中的每台相机的姿态。

3.如权利要求2所述的方法，其中，提取第三特征的步骤包括：

从第一帧的至少三个图像中提取点，以产生尺度不变特征变换SIFT描述符；以及

通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。

4.如权利要求3所述的方法，其中，提取第三特征的步骤还包括：

使用几何约束移除第三特征中的异常值。

5.如权利要求4所述的方法，其中，几何约束包括对极约束、二次投影约束和深度范围约束中的至少一个。

6.如权利要求1所述的方法，其中，所述跟踪所述至少一个单帧的每一帧中的每台相机的姿态的步骤包括：

将多帧的随后的帧设置为当前帧；

在当前帧中提取与第一特征的一个对应的第二特征；

当第二特征的数量大于或等于门限时，估计当前帧中的每台相机的姿态；以及

将当前帧的随后的帧设置为新的当前帧，并当第二特征的数量大于或等于门限时，在新的当前帧中提取第二特征。

7.如权利要求6所述的方法，其中，所述跟踪多帧中的至少一个第一特征的步骤包括：

当第二特征的数量小于门限时，再次跟踪多帧的每一帧中的每台相机的姿态。

8.一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的设备，所述设备包括：

多帧处理单元，提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；以及

单帧处理单元，基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态，

其中，所述至少一个第二特征的每一个相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。

9.如权利要求8所述的设备，其中，多帧处理单元包括：

特征提取器，从多帧中的第一帧的至少三个图像中提取第三特征；

特征跟踪单元，跟踪第三特征直到多帧中的最后帧；

动态点检测器，通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征；以及

相机姿态估计器，基于第一特征来估计多帧的每一帧中的每台相机的姿态。

10.如权利要求9所述的设备，其中，动态点检测器计算第三特征的每一个的四维(4D)轨迹子空间，并基于4D轨迹子空间确定第三特征的每一个是否具有动态轨迹。

11.如权利要求9所述的设备，其中，特征提取器从第一帧的至少三个图像中提取点，以产生尺度不变特征变换SIFT描述符，并通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。

12.如权利要求11所述的设备，其中，特征提取器使用几何约束移除第三特征中的异常值。

13.如权利要求12所述的设备，其中，几何约束包括对极约束、二次投影约束和深度范围约束中的至少一个。