[发明专利]基于多头交叉注意机制的神经网络光场图像去模糊方法

权利要求书

1.基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述方法步骤为：

步骤1、构建数据集LFDOF、数据集DPDD以及测试集；其中数据集LFDOF作为训练集，数据集DPDD作为辅助网络微调集；

步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；

步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；

步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。

2.根据权利要求1所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述神经光场网络模型包括编码器、解码器和若干级联的动态残差块；所述神经光场网络模型的输入为数据集LFDOF和数据集DPDD中的模糊图像x_LFDOF和x_DPDD，通过编码器ε提取多尺度金字塔特征，然后通过跳过连接将其添加到解码器D的相应尺度；若干动态残差块添加到解码器D的每个尺度,若干动态残差块的输入为来自数据集LFDOF中的模糊图像x_LFDOF及解码器D输出的不同尺度的数据，输出为去模糊化后的图像。

3.根据权利要求2所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述动态残差块包括基于多头交叉注意机制模块和多层感知器；

对每个多头交叉注意机制模块的输入特征进行标记化，将特征重塑为扁平化的二维斑块序列，其大小分别为P、P/2；斑块映射到其对应尺度的编码器特征的相同区域；通过这个过程，保持原始通道的尺寸；

把这两个输入特征的标记作为密钥，值T_∑＝Concat(T₁,T₂)；这些标记被送入多头交叉注意机制模块和多层感知器的残余结构，以编码信道和依赖关系，提炼来自每个编码器的特征Q_i，每个编码器使用多尺度特征；

多头交叉注意机制模块包含了3个输入(Q₁，Q₂，C_∑)，包括两个标记T_i作为查询以及一个串联的标记T_∑作为键和值；

Q_i＝T_iW_Q,K＝T_∑W_K，V＝T_∑W_V

其中是不同输入的权重，d是序列长度，C_i(i＝1,2)是两个输入信道的尺寸，C_∑＝Concat(C₁,C₂)；Q_i为每个编码器的特征，V，K为两个经过加权后参与计算的参数；

由于在上述过程中，产生了相似性矩阵并通过交叉注意CA机制对V进行加权；

其中ψ(·)和σ(·)分别表示实例规范化函数和softmax函数；上标T为转置标记；

沿着通道轴进行注意操作，并且采用了实例归一化，；在N头注意的情况下，多头交叉注意机制模块处理后的输出计算如下：

其中N是输入的数量；此后，应用一个MLP和残差运算器，得到的输出如下：

O_i＝MCA_i+MLP(Q_i+MCA_i)

为了简单起见，省略了方程中的层归一化LN；将上式中的操作重复L次，构建一个L层的变换器；第L层的两个输出O1,O2通过一个上采样操作进行重构，然后通过卷积层重建，得到残差块的输出。