[发明专利]一种用于光场超分辨率的多视图信息注意力交互网络

权利要求书

1.一种用于光场超分辨率的多视图信息注意力交互网络，其特征在于，包括顶部分支、底部分支、融合重建模块和上采样模块；

所述顶部分支包含依次串联的重塑过程、特征提取模块和四个双注意力模块；并将四个双注意力模块的输出进行级联；

所述底部分支包含依次串联的特征提取模块和四个多视图注意力模块；并将四个多视图注意力模块的输出进行级联；

将一组低分辨率的光场图像作为网络的输入，分别经过顶部分支和底部分支提取光场图像的特征信息；这两条支路提取的特征信息共同汇聚到融合重建模块，融合重建模块首先利用全局图像特征更新每个单视角图像特征，使得每个视角特征能够融合全局视角特征，再经过上采样模块，最后与输入图像的双三次上采样图像相加得到最后的输出图像。

2.根据权利要求1所述的用于光场超分辨率的多视图信息注意力交互网络，其特征在于，利用残差密集空洞空间金字塔池化模块和残差块作为网络的特征提取模块；选择卷积核扩张率为1、2和5；通过级联多个空洞卷积层，越往后的神经元就能获得越来越大的感受野；扩张率为1、2和5的空洞卷积感受野分别为3×3、5×5和11×11，级联后的感受野为17×17；将每一层的输入和输出的特征结合起来作为下一层的输入；经过1×1的卷积层进行压缩通道，再经过空洞卷积层后被修正线性单元函数激活；最后在网络末端使用1×1卷积层对提取到的三个特征进行融合；网络最终生成的特征能够非常密集的覆盖多个尺度范围；通过快捷连接的方式，使得网络学习的是一种残差映射。

3.根据权利要求1所述的用于光场超分辨率的多视图信息注意力交互网络，其特征在于，网络的输入低分辨率子孔径图像表示为I代表光场图像，I^LR代表低分辨率光场图像，是多维实数空间；LR是低分辨率；N是光场全部视角个数；其中N＝U×V；U、V是光场的角度分辨率大小，U＝V＝5；W、H是子孔径图像的图像大小，W＝H＝32；对应的网络输出高分辨率子孔径图像表示为其中I^SR代表高分辨率光场图像；SR是高分辨率；α是网络的放大倍数；在底部分支中，输入I^LR经过特征提取模块后，输出的特征为C是网络输入的特征通道数；整个过程表示如下：

F_views＝H_FEM(I^LR) (1-1)

其中，F_views是提取到的特征，H_FEM表示特征提取模块的作用函数，称为浅层特征提取器；F_views不仅提取了单视角图像的特征信息，还保留了视图之间的相关性，用于方便后续对其视图特征之间权重的学习；在顶部分支中，输入I^LR经过重塑形状后再经过特征提取模块，得到的输出特征为F_global融合了视图之间原有的相关性，提取了全局视图的特征信息，用于关注全局图像内部隐藏的信息，方便后续对其在空间位置和通道上权重的学习。