[发明专利]一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法

说明书

本发明提出了一种基于脉冲型飞行时间(Time‑of‑Flight,ToF)相机深度图像的多径效应补偿方法。该方法在多个脉冲周期下对同一场景进行测量，通过对脉冲型ToF深度相机的成像原理进行建模，构造稀疏矩阵使得测量信号在变换域中是稀疏的，并通过L₁范数正则化方法重建未受多径效应影响的分量。我们对两个场景进行多次测量以验证多径效应补偿的效果，实验表明本发明可以有效地补偿深度值的漂移。

技术领域

本发明涉及计算机视觉领域，具体涉及到一种基于脉冲型飞行时间(Time-of-Flight，ToF)相机深度和光强图像的多径效应补偿方法。

背景技术

近年来，深度感知技术发展迅速，在手势识别、遥感和图像导航外科手术等各种领域得到了广泛应用。在深度感知技术中，飞行时间成像技术拥有诸多优势。飞行时间相机是一种新型的三维相机，具有主动照明光源阵列和传感器。有源光源发出近红外光，相机的每个像素测量入射的反射光，通过时间延迟来计算到场景中物体的距离。相对于其他深度感知技术，ToF相机由于使用主动红外光源，通常能够实现非常高的精度并且在低光照条件下正常工作。

主流的ToF相机按照有源光源发出正弦波还是激光脉冲可以分为连续波型和脉冲型。连续波ToF深度相机由于光源不间断工作，会导致高功耗和显著发热，因此不能长时间使用。而且严重受到激光功率的限制，最远可测量距离只能达到10米左右。脉冲ToF相机弥补了连续波ToF的缺点，激光脉冲的持续时间很短，功耗和发热量显著降低，因此可以长时间稳定地工作。而且受环境光的影响较小，可用于户外用途，具有鲁棒性。

然而，脉冲型ToF技术仍然存在多方面的误差，有许多因素会影响到精度，例如系统误差，镜头失真和多径干扰。其中，多径效应是一个需要解决的关键问题。多径效应是指发射出去的近红外光通过两个或多个路径返回传感器，当来自场景其他部分反射的杂散光干扰到传感器像素处的距离测量时，会导致深度估计出现显著失真。与普通噪声不同，多径会导致传感器深度估计变得不准确，而且无法由传统去噪算法去除。因此，消除多径干扰的影响是ToF系统的关键组成部分。

然而，现有的多径效应消除方法大都针对基于调幅连续波的ToF相机，两种相机的成像原理完全不同。在脉冲型ToF相机成像机制中，是通过快门返回的光强度而不是反射信号和发射信号之间的相位差来估计深度，所以在脉冲型ToF成像原理中不存在相位差的概念，以往的方法不能直接应用于脉冲型ToF相机。

发明内容

鉴于此，为了将目前的连续波ToF相机多径效应补偿方法推广到脉冲型ToF相机，本发明提出了一种基于稀疏正则化的多径效应消除方法。从脉冲型ToF相机的成像原理出发，对多径效应进行建模，然后通过构造变换矩阵将原始信号进行变换，使其在变换域满足稀疏性条件，采用L₁范数正则化的方法恢复出每个多径效应分量的强度，并得到优化之后的变换矩阵，最终通过优化后变换矩阵中的系数计算出未受多径效应影响的深度信息。

为了达到本发明的目的，本发明提出了一种基于信号稀疏性的L₁范数正则化算法进行多径效应分量的分离。该方法由四个模块组成，分别是脉冲型ToF相机成像模型计算模块、原始信号到变换域的转换模块、变换域信号重构模块、深度值计算模块。

脉冲型ToF相机成像模型计算模块：此模块是根据脉冲型ToF相机三次快门曝光量计算深度的测距原理来计算场景中每个像素深度值的数学模块。模块的输入是三次快门获得的三张光强图像，输出是由三张光强图像计算得到的深度图像。对于近红外光从激光器到物体表面再返回相机传感器的传输过程，飞行的时间和距离成正比，可以由(公式6)表示。

其中d是相机到物体的距离，c是光速，Δt是激光器发射激光和传感器接收激光的时间差。