[发明专利]一种特征点跟踪方法、设备、介质及无人设备

权利要求书

1.一种特征点跟踪方法，其特征在于，无人设备上安装有惯性测量单元和至少两个相机，所述方法包括：

获取所述至少两个相机中的第一相机在当前时刻采集的第一图像数据；

检测所述第一图像数据中包含的特征点，从检测到的所述特征点中选取第一特征点；

获取所述惯性测量单元在所述当前时刻测量的所述无人设备的第一位姿信息；

基于所述第一位姿信息，确定所述第一特征点在所述至少两个相机中的第二相机的图像平面上的第一位置；

根据所述第一位置，在所述第二相机于所述当前时刻采集的第二图像数据中进行特征点跟踪。

2.如权利要求1所述的特征点跟踪方法，其特征在于，检测所述第一图像数据中包含的特征点，从检测到的所述特征点中选取第一特征点，包括：

对所述第一图像数据中包含的特征点进行检测；

针对检测到的所述第一图像数据中包含的各特征点，分别确定各所述征点对应的世界坐标系下的3D位置；

从确定有所述3D位置的特征点中选取一个特征点，作为第一特征点。

3.如权利要求2所述的特征点跟踪方法，其特征在于，基于所述第一位姿信息，确定所述第一特征点在所述至少两个相机中的第二相机的图像平面上的第一位置，包括：

确定所述惯性测量单元与所述至少两个相机中的第二相机之间的外部参数，所述外部参数包含所述惯性测量单元对应的世界坐标系与所述第二相机对应的相机坐标系之间的旋转参数和平移参数；

根据所述第一位姿信息和所述外部参数，确定所述第二相机在所述当前时刻的第二位姿信息；

根据所述第二位姿信息和所述第一特征点的3D位置，确定所述第一特征点在所述第二相机对应的相机坐标系下的坐标；

基于所述坐标和所述第二相机的内部参数，得到所述第一特征点投影在所述第二相机的图像平面上的第一位置。

4.如权利要求3所述的特征点跟踪方法，其特征在于，根据所述第一位姿信息和所述外部参数，确定所述第二相机在所述当前时刻的第二位姿信息，包括：

根据所述惯性测量单元对应的世界坐标系与所述第二相机对应的相机坐标系之间的旋转参数和平移参数，将所述惯性测量单元测量得到的第一位姿信息转换到所述第二相机对应的相机坐标系下，得到所述第二相机在所述当前时刻的第二位姿信息。

5.如权利要求3所述的特征点跟踪方法，其特征在于，基于所述坐标和所述第二相机的内部参数，得到所述第一特征点投影在所述第二相机的图像平面上的第一位置，包括：

根据所述第二相机对应的相机坐标系与图像坐标系之间的投影关系，将所述坐标投影到所述第二相机的图像平面上，得到所述第一特征点投影在所述第二相机的图像平面上的第一位置。

6.如权利要求1所述的特征点跟踪方法，其特征在于，根据所述第一位置，在所述第二相机于所述当前时刻采集的第二图像数据中进行特征点跟踪，包括：

根据所述第一位置，确定所述第一位置在所述第二相机于所述当前时刻采集的第二图像数据中对应的像素值；

根据所述像素值和所述第一特征点对应的像素值，判断所述第一位置对应的特征点与所述第一特征点是否为同一个特征点；

在确定所述第一位置对应的特征点与所述第一特征点不为同一个特征点的情况下，以所述第一位置为原点，在所述第二图像数据中进行特征点跟踪，其中，跟踪到的特征点的像素值与所述第一特征点的像素值之间满足设定条件。

7.如权利要求6所述的特征点跟踪方法，其特征在于，所述方法还包括：

基于所述第一位置和跟踪到的特征点在所述第二图像数据中的位置，确定所述第二相机在所述当前时刻的第三位姿信息；

根据确定的所述第三位姿信息，对所述惯性测量单元在所述当前时刻测量的第一位姿信息进行更新，并存储更新后的所述惯性测量单元在所述当前时刻测量的第一位姿信息。