[发明专利]图像特征的跟踪方法、装置、计算机设备及存储介质

说明书

本公开提供了一种图像特征的跟踪方法、装置、计算机设备以及存储介质，其中，该方法包括：获取惯性测量单元IMU数据和图像传感器检测到的图像数据；通过IMU数据，确定图像数据中当前图像相对于上一帧图像的旋转角度，以及图像传感器采集当前图像时的角速度；根据角速度和旋转角度确定目标窗口尺寸下的光流窗口；利用确定出的光流窗口对当前图像和上一帧图像进行光流跟踪处理，得到对上一帧图像和当前图像进行特征跟踪时获取到的当前跟踪特征。本公开实施例通过角速度和旋转角度自适应确定相匹配的目标窗口尺寸下的光流窗口的方式，能够进一步降低光流跟踪的能耗，从而避免由于CPU消耗较大导致的掉帧问题。

技术领域

本公开涉及图像处理的技术领域，具体而言，涉及一种图像特征的跟踪方法、装置、计算机设备以及存储介质。

背景技术

目前，同时定位与地图构建(simultaneous localization and mapping，SLAM)系统是增强现实(augmented reality，AR)，虚拟现实(virtual reality，VR)和混合现实(mixed reality，MR)应用中最为核心的系统。

在移动设备上应用AR，VR，MR时要求移动设备的续航能力持久，如果移动设备消耗较多CPU资源，会因为功耗问题导致CPU温度过高，致使CPU工作频率降低。此时，CPU的图像处理速度下降，容易出现显示掉帧的情况。在现有技术中，SLAM系统通常使用特征点和描述子匹配，特征点和光流跟踪的方法对前后图像帧的图像像素进行特征跟踪处理。由于仅对图像像素进行处理，因此，现有技术的方法会导致SLAM系统所提取到的图像特征精度差，且上述所描述的方法中使用特征点和光流跟踪的方法长时间运行会出现因造成计算时间过长导致CPU消耗较大，从而出现掉帧的情况。

发明内容

本公开实施例至少提供一种图像特征的跟踪方法、装置、计算机设备以及存储介质。

第一方面，本公开实施例提供了一种图像特征的跟踪方法，包括：获取惯性测量单元IMU数据和图像传感器检测到的图像数据；通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度；根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口；利用确定出的光流窗口对所述当前图像和所述上一帧图像进行光流跟踪处理，得到对所述上一帧图像和所述当前图像进行特征跟踪时获取到的当前跟踪特征。

在本公开实施例中，在获取到SLAM系统检测到的IMU数据和图像数据之后，可以根据IMU数据和图像数据计算前后帧旋转角度以及图像传感器的角速度，相对于现有技术中仅对图像像素进行处理的方法，本公开实施例结合SLAM系统内部各个传感器检测到数据来确定SLAM系统的当前跟踪特征的方式，能够得到更加精准的特征；且在本公开实施例中，通过角速度和旋转角度自适应确定相匹配的光流窗口的尺寸的方式，能够进一步降低光流跟踪的能耗，从而避免由于CPU消耗较大导致的掉帧的问题。

一种可选的实施方式中，在通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度之前，还包括：对所述IMU数据和所述图像数据进行数据采集时间对齐处理。

在本公开实施例中，在对IMU数据和图像数据进行数据采集时间对齐处理之后，可以提高IMU数据和图像数据的数据精度，在提高IMU数据和图像数据的数据精度之后，在通过对齐处理之后的IMU数据和图像数据进行特征追踪时，就可以提高SLAM系统的处理精度。

一种可选的实施方式中，所述对所述IMU数据和所述图像数据进行数据采集时间对齐处理，包括：将所述IMU数据中目标传感器的检测数据所对应的时间戳作为基准时间戳，利用所述基准时间戳对所述IMU数据中不同传感器的检测数据进行数据采集时间对齐处理；利用进行数据采集时间对齐之后的IMU数据，对所述图像数据进行数据采集时间对齐处理。