[发明专利]一种相机与IMU的标定方法、电子设备及系统

说明书

本申请涉及标定技术领域，提供一种相机与IMU的标定方法、电子设备及系统，利用VR设备的相机采集的多张标定板图像确定平移信息和旋转信息，用平移信息和旋转信息分别初始化3维B样条和SO3样条，从而解决由于6维B样条不具备周期性而导致求解外参数时出现收敛方向不一致问题，保证了3维B样条和SO3样条在任意位置均连续可导，使得VR设备所在的机械臂能够自由运动，不受标定轨迹的约束；根据样条求导结果以及该VR设备上IMU的测量值，确定IMU的目标测量误差，并根据多张标定板图像上的标志点，确定相机的重投影误差，通过求解测量误差和重投影误差的最小值，从而准确、稳定的标定出相机与IMU的外参数，提高了标定效率。

技术领域

本申请涉及标定技术领域，尤其涉及多传感器标定，提供一种相机与IMU的标定方法、电子设备及系统。

背景技术

同时定位与建图(Simultaneous Localization and Mpping，SLAM)技术为虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)等设备提供定位与建图功能，是VR、AR等设备的核心技术之一。

VR、AR等设备大多采用计算机视觉和惯性导航系统(简称为视觉惯导系统)实现SLAM技术。在使用视觉惯导系统之前，需要通过标定系统确定相机与惯性测量单元(Inertial Measurement Unit，IMU)的内参数和外参数。

目前，可通过对标定轨迹求导的方式确定相机与IMU的外参数，而标定轨迹的设计不合理，将会影响外参数标定的准确性，甚至导致标定失败。因此，VR、AR等设备的生产商大多会提供标定轨迹，这对标定过程产生了一定的约束，并且，标定算法与标定轨迹相关，标定算法要求标定轨迹连续可导。

相关技术中，为使得6维的B样条(B-Spline)生成的标定轨迹在任意位置连续可导，通常会利用旋转角度的周期性进行补全。然而，对于B-Spline本身而言并没有周期性，因此，在不同的周期求得的导数并不一致，这样，就会导致使用优化方法求解外参数时出现收敛方向不一致问题，降低了标定的准确性；且在增补的周期过大时，还容易出现收敛错误的现象，最终导致标定失败。

发明内容

本申请实施例提供了一种相机与IMU的标定方法、电子设备及系统，用于减少标定轨迹的约束，提高标定的准确性和效率。

一方面，本申请实施例提供了一种相机与IMU的标定方法，所述相机与所述IMU安装于同一VR设备上，所述方法包括：

根据所述相机采集的多张标定板图像，确定所述相机的平移信息和旋转信息；

用所述平移信息初始化3维B样条，用所述旋转信息初始化SO3样条；

对所述3维B样条和所述SO3样条进行求导，并根据求导结果以及所述IMU的测量值，确定所述IMU的目标测量误差；

根据所述多张标定板图像上的标志点，确定所述相机的重投影误差；

通过求解所述测量误差和所述重投影误差的最小值，标定出所述相机与所述IMU的外参数。

另一方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，所述通信接口、所述存储器与所述处理器通过总线连接；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

通过所述通信接口，获取VR设备的相机采集的多张标定板图像，以及所述VR设备的IMU的测量值；

根据所述多张标定板图像，确定所述相机的平移信息和旋转信息；

用所述平移信息初始化3维B样条，用所述旋转信息初始化SO3样条；