[发明专利]时间戳延时标定方法及系统、设备和计算机可读存储介质

说明书

本发明提供一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质，其中，该方法包括：计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；计算所述第一序列与所述第二序列的互相关系数；利用所述互相关系数确定视频与惯性数据之间的时间戳延时。本发明提供的技术方案只使用视频数据中相邻两帧图像之间的相对旋转，以及惯性数据中的角加速度数据，一方面使用最少的数据达到了方法最大的通用性，另一方面通过使用互相关分析和相位相关分析计算可以极大的提高标定的精度。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质。

背景技术

在计算机视觉系统中，使用相机和惯性测量单元(Inertial Measurement Unit，IMU)的视觉惯性测程法近年来取得了很好的效果，利用相机可以获取视频数据，利用IMU可以获取惯性数据，因为视觉(即视频数据)和IMU的信息(即惯性数据)有互补的特点，这些融合视觉和惯性信息进行位姿估计的方法一般都需要严格的视频与惯性数据的时间戳对齐，否则不仅影响系统的精度，还会导致系统极易崩溃。

但是，目前许多同时提供了视频与惯性数据的设备，例如智能手机、GoPro运动相机、insta360全景相机等，由于没有使用硬件对视频与惯性数据的时间戳进行同步，因此两者之间可能存在一定的延时，并且这个延时并不是固定值，而是每次开始采集数据时都会变化，因此无法通过事先标定得知某一次采集数据的延时。而对于GoPro运动相机、insta360全景相机来说，其延时可能达到几十毫秒甚至几百毫秒，在这样大的延时下，基于视频与惯性数据的视觉惯性里程计(Visual-Inertial Odometry，VIO)已经无法正常运行，需要进行在线的延时标定。

目前，现有的视觉和惯性延时标定的方法主要分为离线标定和在线标定两种，离线标定需要使用标定板等特殊设备，还需要比较专业的采集方式才能进行标定，导致定位成本较高，定位程序比较复杂，而且很难使用在前面所述的在线使用或者每次都会变化的场景中，应用场景比较局限，方法不具有通用性，另外，在线标定主要是通过使用EKF算法或非线性优化在线优化，其需要有一个比较好的初值，或视觉与惯性数据的延时较小，使得vio算法可以勉强运行，定位的精度也不高，所以如何设计出具备通用性的定位方法而且能提高定位精度一直就是业界亟待突破的问题。

发明内容

有鉴于此，本发明的目的在于提供一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质，只使用视频数据中相邻两帧图像之间的相对旋转，以及惯性数据中的角加速度数据，一方面使用最少的数据达到了方法最大的通用性，另一方面通过使用互相关分析和相位相关分析计算可以极大的提高标定的精度。

一方面，本发明提出一种视频与惯性数据时间戳延时标定方法，其中，所述视频与惯性数据时间戳延时标定方法包括：

步骤一，计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；

步骤二，将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；

步骤三，计算所述第一序列与所述第二序列的互相关系数；

步骤四，利用所述互相关系数确定视频与惯性数据之间的时间戳延时。

优选的，所述第一序列为其中任意一个元素代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。

优选的，所述积分的计算方式为：

r_i,i+1＝R+tati+n2AxisAngle(Δ_R)；