[发明专利]基于生成对抗网络的光场图像超分辨率模型及其训练方法

权利要求书

1.基于生成对抗网络的光场图像超分辨率模型，其特征在于,包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；

所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层，所述加深卷积层包括1个三维卷积层和1个激活层；

所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成；

所述空间特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第一多层感知层、第一归一化层、第一多头自注意机制、第二归一化层和第二多层感知层，所述第一多头自注意机制的输出端与第一多层感知层的输出端进行跳跃连接，第二多层感知层的输出端和第二归一化层的输入端进行跳跃连接；

所述角度特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第三归一化层、第二多头自注意机制，第四归一化层和第三多层感知层，所述第一多头自注意机制的输出端与第三归一化层的输入端进行跳跃连接，第三多层感知层的输出端和第四归一化层的输入端进行跳跃连接；

所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；

所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别。

2.如权利要求1所述超分辨率模型，其特征在于，所述判别网络使用视觉Transformer领域网络架构构造，包括顺序连接的分块模块、通道变换模块、STB模块、块融合模块和STB模块，所述STB模块包括依次连接的第五归一化层、第三多头自注意层、第六归一化层和第四多层感知层。

3.如权利要求1所述超分辨率模型，其特征在于，所述特征聚合模块有多个并顺序连接在初始特征提取模块和上采样模块之间。

4.基于生成对抗网络的光场图像超分辨率模型训练方法，其特征在于，包括如下步骤：

步骤1：准备开源光场训练数据集；

步骤2：对训练数据集进行预处理操作；

步骤3：预处理后的训练数据进入初始特征提取模块进行初始特征提取；得到提取后的初始特征；

步骤4.进行空间特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：

步骤41.将提取后的初始特征做展开和边界填充；

步骤42.展开填充后的数据送入第一多层感知层中，实现局部特征聚合后重构为空间特征序列；

步骤43.对空间特征序列执行二维位置编码，得到空间位置编码P_S并将其添加到空间特征序列中；

步骤44.求取空间特征序列的多头注意结果

T′_Spa＝MHSA(Q_S，K_S，V_S)+T_Spa

则空间多头输出结果

且查询值空间矩阵Q_s,索引值空间矩阵K_s和内容值空间矩阵V_s按照下式计算

Q_S＝K_S＝LN(T_Spa+P_S)

V_S＝T_Spa

其中T_Spa表示空间特征序列，MLP表示多层感知操作，LN表示归一化操作，MHSA表示多头自注意机制；

将空间Transformer模块输出结果重构为与输入的数据大小相同的数据进入下一步骤；

步骤45.空间特征聚合的卷积部分：将步骤3得到的提取后的初始特征做卷积，继续提取特征；

步骤46.将空间特征聚合的Transformer部分结果和步骤45得到的卷积部分结果相加，继续进行下一步骤；

步骤5.进行角度特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：

步骤51.将步骤46输出的数据按照角度维度展开成角度特征序列T_Ang；

步骤52.对角度特征序列执行二维位置编码，得到角位置编码P_A并将其添加到角度特征序列T_Ang中；

步骤53.求取角度特征序列的多头注意结果

T′_Ang＝MHSA(Q_A，K_A，V_A)+T_Ang

查询值角度矩阵Q_A、索引值角度矩阵K_A、内容值角度矩阵V_A按照下式计算

Q_A＝K_A＝LN(T_Ang+P_A)，V_A＝T_Ang

T′_Ang为角度特征序列的多头注意结果，为角度Transformer模块输出结果，MLP表示多层感知操作，LN表示归一化操作，MHSA表示多头自注意机制；

步骤54.角度特征聚合的卷积部分：将步骤46的结果做卷积处理，继续提取特征；

步骤55.将角度特征聚合的Transformer部分结果和步骤54的卷积处理结果相加，继续进行下一步骤；

最后将卷积处理结果与角度多头输出结果相加，进入下一个步骤；

步骤6.进行上采样，得到图像输出结果；

步骤7.通过比较图像输出结果与步骤2中对应的预处理后的训练数据，对基于生成对抗网络的光场图像超分辨率模型中的生成网络和判别网络进行训练。