[发明专利]应用于飞行时间图像传感器的超分辨率图像重建方法

说明书

本发明公开一种应用于飞行时间图像传感器的超分辨率图像重建方法，包括：对于IToF图像传感器，在低频调制频率下进行全像素阵列全局曝光获取低精度深度图，在高频调制频率下选通部分像素进行阵列全局曝光，获取高精度深度图；基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一；将同一场景下使用对比图像传感器成像的场景灰度图作为引导图二；基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图；本发明在不改变IToF图像传感器电路结构与低功耗成像的同时，实现高分辨率高精度深度信息感知。

技术领域

本发明涉及图像处理技术领域，具体涉及一种应用于飞行时间图像传感器的超分辨率图像重建方法。

背景技术

与双目视觉和结构光成像等三维成像系统相比，间接型飞行时间(IndirectTime-of-Flight，IToF)图像传感器具有成像原理简单，设备体积小，抗背景光干扰能力强的特点，能够实现高精度的三维成像，能有效提高信息感知能力，在消费电子，汽车电子，工业自动化等领域具有广阔的应用前景。IToF工作原理如图1：与图像传感器并列放置的红外光源发射调制光，传感器对经过物体反射回来的调制光进行信号积分、解调计算，从而获得反射调制光信号的相位偏移来计算红外光飞行时间，进而计算传感器与物体之间的距离值。由于距离解算不需要依赖高精度的计时装置，因此IToF图像传感器能够获得较高的测量精度。

随着对更高深度成像精度和更大成像分辨率的需要，IToF图像传感器的设计中通常采用较高的调制频率和较大的像素阵列，然而高调制频率导致有效探测距离减小以及峰值功耗增加，大像素阵列进一步引起更高的峰值功耗。为了解决高调制频率引起的有效探测距离降低的问题，通常在成像时使用双频调制的方法，通过获取两种不同调制频率下成像的深度值来重新计算高精度的深度值。通常选择两种相差较大的频率，高频调制获取的深度值精度高，有效探测距离短，低频调制获取的深度值精度低，有效探测距离长，结合两种调制频率下的深度值可以得到高精度的深度信息。而对于功耗的增加，虽然在一些设计中已经应用了基于恒定延时链的电路来在不同的时间节点驱动解调信号，从而降低峰值功耗。但是当像素阵列较大时，延时链电路依然无法从整体上降低功耗，导致受限于功耗的影响，IToF图像传感器无法达到传统CMOS图像传感器的分辨率。

相关技术中，申请公布号为CN110084775A的中国发明专利申请文献公开了一种图像处理方法及装置、电子设备和存储介质，方法包括：获取第一图像；获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。

但该方案对混入噪声与模糊的低质量平面图像进行训练，通过神经网络处理来对退化严重的图像进行优化，从而恢复平面图像的成像质量以实现目标检测。有效对质量退化严重的平面图像进行去噪声与去模糊处理，提高成像质量，实现更好的目标平面检测能力。其采用基于训练集的神经网络方法对图像进行重建，首先获取第一图像与引导图像集，之后基于至少一个引导图像对第一图像进行引导重构得到重构图像，然后对引导图像进行匹配以执行仿射变换，而后从仿射图像中提取所需目标的子图像。与此同时，对第一图像进行超分辨率处理得到第二图像，并对第二图像重复上述引导重构、仿射变换与提取子图像操作。然后将得到的两幅图像的仿射图像与提取的子图像输入至对抗网络、特征识别网络与语义分割网络进行训练，最终得到训练后的准确的超分辨率重建图像。该方案需要多幅引导图像，并需要多重神经网络进行图像训练与处理，需要庞大的运算量支撑。

申请公布号为CN113837938A的中国发明专利申请文献公开了一种基于动态视觉传感器重建潜在图像的超分辨率方法，通过神经网络结构实现，包括潜在灰度图重建和多图像融合两个步骤实现，通过神经网络架构重建高质量的高分辨率灰度图，同时考虑事件信号和灰度图信号，以灰度图为基础重建一系列潜在灰度图，融合出的高分辨率灰度图的像素值稳定且连续。