[发明专利]基于注意力机制的传感器融合深度重建数据驱动方法

说明书

本发明公开了一种基于注意力机制的传感器融合深度重建数据驱动方法。该方法针对分辨率为32×32的SPAD阵列探测器，设计了一种卷积神经网络结构，在强度图的引导下，将低分辨率TCSPC直方图映射至高分辨率深度图。该网络采用多尺度方法提取输入特征，并基于注意力模型融合深度数据和强度数据。另外，设计了一个损失函数组合，适用于处理TCSPC直方图数据的网络。本发明能成功将深度原始数据的空间分辨率提升4倍，在仿真数据和采集数据上验证了本发明的深度重构效果，在质量和数据指标上都优于其他算法。

技术领域

本发明属于数据驱动技术，具体为一种基于注意力机制的传感器融合深度重建数据驱动方法。

技术背景

从感知场景中推断出正确的深度信息对许多应用来说是至关重要的，例如自动驾驶、虚拟现实、增强现实和机器人技术。激光雷达是深度成像中的领先技术，目前，大多数激光雷达系统采取单点/扫描的方式，使用共轴对齐的激光二极管和单光子探测器，由激光器发射激光，探测器时间标注经场景反射回来的到达光子。扫描式激光雷达系统虽然能够获取较为准确的深度信息，但采集速度慢，通常需要花费数小时才能完成一次场景信息获取。然而，越来越多的应用要求能够对场景进行快速获取，在此需求之下，单光子雪崩二极管(SPAD)阵列应运而生。采用主动成像方式，SPAD阵列可以提供准确快速的场景深度信息。

目前，激光雷达的分辨率较低，尤其是SPAD阵列，因此，深度重建也是一个热门的研究方向。仅从激光雷达系统中获取的信息进行深度重建效果是有限的，多维信息融合，即利用高分辨率强度图与低分辨率深度图互补，是解决这一问题的方法之一。依赖于传感器融合神经网络进行深度估计的方法，已知有三种技术途径：(1)Lindell等人结合常规高分辨率相机和线列SPAD(LinoSPAD)，使用多尺度深度卷积网络，提出了一种用于效率3D成像的数据驱动方法(1.D.B.Lindell,M.O’Toole,and G.Wetzstein,Single-photon 3dimaging with deep sensor fusion.ACM Trans.Graph,2018,vol.37(4),pp:1-12.)；(2)Sun等人引入了单目深度估计算法，能从强度信息中得到更可靠的相对距离信息(2.Z.-H.Sun,D.B.Lindell,O.Solgaard,and G.Wetzstein,SPADnet:deep RGB-SPAD sensorfusion assisted by monocular depth estimation.Optical Express.2020,vol.28(10),pp:14948-14962.)；(3)Ruget等人使用了相同的SPAD阵列传感器，基于神经网络，利用强度图和多个从直方图中提取出的特征引导深度上采样(3.A.Ruget,S.McLaughlin,R.K.Henderson,I.Gyongy,A.Halimi,and J.Leach,Robust super-resolution depthimaging via a multi-feature fusion deep network.Optical Express,2021,vol.29(8),pp:11917-11937.)。第一种方法和第二种方法分别采用线列SPAD探测器和单点SPAD探测器，需要对场景扫描成像，获取一次场景的深度信息往往需要数几个小时，无法满足越来越多应用的实时性要求；第三种方法主要针对深度超分辨问题，需要预先从探测器的原始数据中选择重要特征，即先对原始数据去噪，再输入网络，具有较多的预处理步骤，且网络只具有上采样功能。

发明内容

本发明的目的在于提出了一种基于注意力机制的传感器融合深度重建数据驱动方法，以实现稳健提取目标清晰无噪的三维距离图像。

实现本发明的技术解决方案为：一种基于注意力机制的传感器融合深度重建数据驱动方法，具体步骤为：