[发明专利]用于实时运动伪影处理和去噪的方法和系统

说明书

本公开提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法和系统，所述ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))。所述方法包括：根据所述发送信号(s(t))和所述接收信号(r(t))来计算互相关函数C(T)在多个时间上间隔的位置或相位处的值，从而得到多个相应的互相关值[C(T₀),C(T₁),C(T₂),C(T₃)]；根据所述多个互相关值[C(T₀),C(T₁),C(T₂),C(T₃)]得到深度图D，所述深度图D具有代表针对每个像素的到所述发送信号(s(t))所入射到的物体的一部分的距离的值；根据所述多个互相关值[c(T0),c(Ti),c(T2),c(T‑i)]得到引导图像(I；I’)，所述引导图像(I；I’)为具有良好限定的边缘的图像；基于所述深度图D和所述引导图像(I；I’)来生成输出图像D’。

技术领域

本发明涉及图像处理，并且更具体地涉及用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法和系统。

背景技术

存在需要借助于ToF传感器(例如，相机)进行准确距离计算的一系列领域和应用。由相机采集到的那些场景可以是静态的或动态的，并且在后一种情况下，在运动物体边界处出现的运动伪影可能损坏图像。

涉及准确深度测量的典型应用为人机交互(其中，寻求用于手势识别的快速手分割)和汽车相关的应用(其中，执行占用分类、头部姿势估计和/或环境感知)。其它应用对于技术人员而言将是显而易见的。

基于解调锁定像素的ToF相机通过所发出的调制近红外(NIR)信号与所接收到的调制近红外(NIR)信号之间的相移来估计深度，其中需要四个顺序的相移图像，即“四次敲击”技术。

常规的ToF工作原理假设场景在该时间间隔期间为静止的。然而在实际情况下，涉及与动态场景中的物体边界一起出现的不可靠的深度测量，尤其是在快速运动时。

提出了若干方案来解决TOF相机的运动伪影负面影响。它们主要被分类为两个主要种类：(1)基于像素的校正以及(2)基于流程计算的校正。

在Hussmann,S.、Hermanski,A.、和Edeler,T.(2010)的“Real-time motionsuppression in TOF range images”(IEEE InstrumentationMeasurement TechnologyConference Proceedings,pp.697–701,2010)中，作者介绍了一种补偿传送带上的物体线性运动的方法。在深度计算之前对线性移动进行测量并且在四个相移图像上对线性移动进行补偿。然而，其方案被限制为在相机视场的范围内的线性运动。

Schmidt,M.的“Analysis Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems”(PhD Thesis,Natural Sciences and for Mathematics ofthe Ruperto-Carola University of Heidelberg,Germany,2011)提出了一种通过分析突发模式中所需的N倍的四个相移图像的集合的时间关系(N为集合的大小)来检测和校正每个像素的运动。该方法受到ToF相机硬件规范的约束，其必须提供N倍的四个相移图像的集合。