[发明专利]用于提高飞行时间相机精度的方法

说明书

一种用于提高飞行时间相机的精度的方法，采用实时获得场景三维成像的飞行时间相机,所述相机发射经过调制的近红外光信号，通过计算发射光信号到目标物体的时间或相位与返回光信号回到传感器的时间或相位之间的差值，以高帧率同时获取幅值图像和深度图像，从而应用到三维重建、医疗技术等计算机视觉场景，并通过对飞行时间相机进行深度补偿和进一步通过结合高分辨率相机对飞行时间图像特征点位置校正，实现对飞行时间精度的提升。

技术领域

本发明一般涉及飞行时间(Time of flight，ToF)相机，并且更具体地，涉及用于提高ToF相机精度的方法，属于相机仪器的测量和标定领域。

与飞行时间图像相比，本发明能够减少ToF的深度误差，并且能够对ToF图像特征点位置进行校正，进而提高ToF相机的精度。

背景技术

随着当今科技的进步和工业水平的发展，许多行业对三维信息的需求越来越高，三维信息被广泛应用工业生产和生活的各个角落。在工业生产领域，随着自动化程度的加强，在零件的故障检测、产品的自动分拣、物流配送的路径规划等场景，三维信息的获取的是必不可少的。在如今非常火热的自动驾驶领域，汽车周围空间的三维信息的获取是最开始也是最重要的步骤之一。而在日常生活领域，现在的智能手机的人脸识别模块往往是通过配备了能够获取三维信息的深度传感器来实现人脸识别功能的。

而基于飞行时间(ToF)原理的ToF相机是一种主动测量的3D相机，它具有体积小巧、帧率高、无需扫描、不依赖于外界光照等特点。ToF相机能够发射经过调制的近红外光信号，通过计算发射光信号到目标物体的时间(相位)与返回光信号回到传感器的时间(相位)，通过计算它们之间的差值，ToF相机能够以高帧率同时获取幅值图像(灰度图像)和深度图像，从而能够用于三维重建、医疗技术等计算机视觉场景。现如今ToF相机有着很高的研究价值和应用场景，2020款最新款的华为mate系列手机和苹果ipadpro系列平板都配备了具有ToF技术的深度传感器来用于人脸识别和虚拟现实等应用。

但是，ToF深度相机获得深度数据容易受到随机误差和系统误差等的影响，存在深度缺失、偏移、畸变等问题。ToF相机受到的误差来源包括温度、场景物体的反射率、相机与场景之间的距离、积分时间，相机与拍摄物体之前的相对运动等。其中比较重要且影响大的误差是与距离相关的误差，又叫做摆动误差，这种误差往往是由于ToF相机理想的正弦波信号与实际的观测到的信号的波形不一致产生的误差。这种误差是ToF相机最重要的误差之一。除此之外，ToF相机提供的图像分辨率远远低于现在提供二维信息的普通相机图像分辨率。这就造成了ToF图像上呈现出来的是空间中场景的模糊表达，这对空间中关键信息的定位是一个挑战，因此对ToF图像上关键点(特征点)位置的校正是一个需要解决的问题。

发明内容

基于上述所提出的问题，本发明了提供了一种飞行时间相机的精度提高方法，该方法通过(1)搭建了相机的标定的平台；(2)通过拟合了距离-误差函数模型来实现对ToF深度图像逐像素的误差补偿；(3)结合一个高分辨率相机，通过两个相机的相对位姿关系，在高分辨图像中寻找更精确的特征点位置，再反投影到ToF图像上，从而校正了ToF图像的特征点位置。通过我们方法能够实现对ToF图像深度、特征点像素位置这个三个方向的校正，从而提高了受到相机分辨率限制的ToF精度。

为了实现上述问题，本发明采用如下技术方案：

一种用于提高飞行时间相机精度的方案，该方法主要包括：

搭建一个相机的标定平台，包括一台ToF相机、一台高分辨率相机以及一个棋盘格标定板和一个平坦的平面；

利用标定平台进行ToF和高分辨相机的立体标定，获得ToF相机的内外参数矩阵和高分辨相机的内外参数矩阵以及高分辨率相机相对于ToF相机的相对位姿，用于后序的步骤；