[发明专利]基于注意力机制的传感器融合深度重建数据驱动方法

权利要求书

1.一种基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，具体步骤为：

第一步，构建基于注意力机制的传感器融合网络并对其进行训练；其中，所述基于注意力机制的传感器融合网络包括特征提取模块和融合重构模块，所述特征提取模块用于提取SPAD测量数据和强度数据中的多尺度特征，所述融合重构模块用于对对应尺度的强度特征和深度特征在时间维度上级联，并进行特征融合操作，得到重构后的深度图；

第二步，从SPAD阵列探测器和相机中分别获取深度数据和强度数据，采用棋盘格法进行深度图和强度图的配准，得到对应同一视角下的强度数据和深度数据；针对信噪比小于设定阈值的配准后深度数据，在时间维度上截取包含信号光子的时间段，得到较高信噪比的深度数据；采用最近邻法，将较高信噪比深度数据的空间分辨率提升至四倍；

第三步，利用第二步得到的强度数据和深度数据，作为基于注意力机制的传感器融合网络的输入，提取不同尺度的深度特征和强度特征，将二维强度特征在时间维度上重复得到与深度数据维度一致的三维强度数据，对于各个尺度的强度特征和深度特征，在时间维度上进行级联，并进行融合重构模块提升融合质量，上采样至输入数据尺寸后，得到输出的重建深度图。

2.根据权利要求1所述的基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，所述特征提取模块提取SPAD测量数据和强度数据中的多尺度特征的具体过程为：

下采样因子为2^-L，使用L个三维特征提取器，从SPAD测量数据中提取L个多尺度特征；

网络原始输入和提取得到的多尺度特征经过若干三维卷积层，获得更深层的特征；

使用L个二维特征提取器，从强度数据中获得与深度特征尺度相对应的强度特征，将强度数据及强度特征在时间维度上平移，获得二维至三维的映射。

3.根据权利要求2所述的基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，每个三维特征提取器包括一个三维卷积层、一个三维批归一化层和修正线性单元激活函数，每个三维特征提取器中，特征首先进入三维卷积层，三维卷积层的输出作为三维批归一化层的输入，三维批归一化层的输出作为修正线性单元激活函数的输入，修正线性单元激活函数的输出作为下一尺度三维特征提取器的输入。

4.根据权利要求1所述的基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，所述融合重构模块进行特征融合得到重构后的深度图的具体步骤为：

A、对应尺度的深度特征与经过映射得到的三维强度特征在时间维度上级联，输入至上采样算子；

B、经上采样算子输出的融合特征图通过注意力模块，以关注图像中带有更多特征的区域；

C、从注意力模块中得到的上采样后的前一级特征图与更高尺度的深度特征与强度特征级联，输入至上采样算子，返回步骤B，直至得到与网络输入特征的分辨率一致的特征图，作为重构深度图。

5.根据权利要求1所述的基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，所述融合重构模块进行特征融合得到重构后的深度图具体过程为：

其中表示融合后的尺度L的深度特征，CBAM()表示注意力机制操作，符号表示反卷积操作，cat(A,B)表示将A和B进行级联，σ表示修正线性单元激活函数，表示提取特征的三维卷积层偏差值。

6.根据权利要求1所述的基于注意力机制的传感器融合深度重建数据驱动方法，其特征在于，所述基于注意力机制的传感器融合网络的总损失函数为三个主要贡献的权重相加：在网络输出直方图和干净直方图D之间约束了KL散度D_KL和序数回归损失Loss_OR，并施加了全变差正则化约束项TV，总损失函数为：

Loss_total＝D_KL+λ₁Loss_OR+λ₂TV

式中，λ₁、λ₂为权重系数。