[发明专利]一种特征点跟踪方法、设备、介质及无人设备

说明书

本说明书公开了一种特征点跟踪方法、设备、介质及无人设备，包括：获取至少两个相机中的第一相机在当前时刻采集的第一图像数据；检测第一图像数据中包含的特征点，从检测到的特征点中选取第一特征点；获取惯性测量单元在当前时刻测量的无人设备的第一位姿信息；基于第一位姿信息，确定特征点在至少两个相机中的第二相机的图像平面上的第一位置；以第一位置为初始位置，在第二相机于当前时刻采集的第二图像数据中进行特征点跟踪。这样不仅增加了特征点的跟踪时间和跟踪次数，还有效地将不同的相机关联起来，进而提升视觉惯性里程计的定位精度。

技术领域

本说明书涉及无人驾驶技术领域，尤其涉及一种特征点跟踪方法、设备、介质及无人设备。

背景技术

里程计(Odometry)是通过运动传感器采集的数据来估计移动智能设备(例如：机器人、无人车以及具备配送能力的无人驾驶车辆(以下简称车辆))位姿变换的方式。虽然里程计测量的是移动智能设备短时间内的位姿变换，但是通过累积的方式可以得到移动智能设备连续的位姿信息。正是因为能够得到连续的位姿信息，里程计成为机器人、无人驾驶领域非常重要的定位方法之一。

相机作为一种运动传感器，通过拍摄的序列图片来估计位姿，这种方法被称之为视觉里程计；惯性测量单元(Inertial Measurement Unit；IMU)作为另一种运动传感器，通过将陀螺仪、加速度计和磁力计这三种传感器的数据进行融合来估计位姿，这种方法称之为惯性里程计。

在实际应用中，视觉里程计和惯性里程计的方法差异较大，各具优势经常被融合使用，即视觉惯性里程计。视觉惯性里程计常见的应用是相机+IMU组合。经研究发现，由于视觉惯性里程计依然采用累积的方式来确定位姿信息，不可避免的在计算过程中会存在累积误差，这将增大视觉惯性里程计的定位误差。

发明内容

本说明书提供一种特征点跟踪方法、设备、介质及无人设备，以部分解决上述现有技术存在的问题。

本说明书采用下述技术方案：

本说明书提供的一种特征点跟踪方法，无人设备上安装有惯性测量单元和至少两个相机，所述方法包括：

获取所述至少两个相机中的第一相机在当前时刻采集的第一图像数据；

检测所述第一图像数据中包含的特征点，从检测到的所述特征点中选取第一特征点；

获取所述惯性测量单元在所述当前时刻测量的所述无人设备的第一位姿信息；

基于所述第一位姿信息，确定所述第一特征点在所述至少两个相机中的第二相机的图像平面上的第一位置；

根据所述第一位置，在所述第二相机于所述当前时刻采集的第二图像数据中进行特征点跟踪。

可选的，检测所述第一图像数据中包含的特征点，从检测到的所述特征点中选取第一特征点，具体包括：

对所述第一图像数据中包含的特征点进行检测；

针对检测到的所述第一图像数据中包含的各特征点，分别确定各所述征点对应的世界坐标系下的3D位置；

从确定有所述3D位置的特征点中选取一个特征点，作为第一特征点。

可选的，基于所述第一位姿信息，确定所述第一特征点在所述至少两个相机中的第二相机的图像平面上的第一位置，具体包括：

确定所述惯性测量单元与所述至少两个相机中的第二相机之间的外部参数，所述外部参数包含所述惯性测量单元对应的世界坐标系与所述第二相机对应的相机坐标系之间的旋转参数和平移参数；

根据所述第一位姿信息和所述外部参数，确定所述第二相机在所述当前时刻的第二位姿信息；