[发明专利]基于生成对抗网络的光场图像超分辨率模型及其训练方法

说明书

基于生成对抗网络的光场图像超分辨率模型，包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层；所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成，所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别，辅助生成网络模型进行训练。本发明通过对抗学习的方式可以不断提升图像生成质量，生成的图像在视觉效果上比其它现有光场模型更好，高频信息更丰富。

技术领域

本发明涉及光场图像处理领域，具体为一种基于生成对抗网络的光场图像超分辨率模型及其训练方法。

背景技术

随着成像设备的不断发展，光场成像已经成为一种可以从真实场景捕获更丰富视觉信息的技术。与传统成像设备相比，光场相机可以从各方向收集空间中的光线信息，通过一次曝光即可获得当前场景的四维光场信息。这种特性使光场相机具有很广泛的应用：图像捕获后的光场重聚焦、基于光场信息的深度估计和基于光场相机图像的三维渲染等。由于光场相机特殊的设计结构，使得其成像分辨率受到传感器分辨率的限制，所采集光场的角度分辨率和空间分辨率存在相互制约的关系，需在两者之间做合理的平衡，这就导致光场相机图像的空间分辨率普遍较低，不足以满足当前市场上的应用需求。

要提升光场图像空间分辨率主要有两种方法：第一就是升级光场相机硬件，提高图像传感器的像元数目的同时相应地提高微透镜阵列中微透镜的数量，或者提高图像传感器的像元密度；第二则是通过图像处理的相关算法提升光场相机的空间分辨率。现有的基于算法的光场图像超分辨方法可以分为基于传统的方法和基于深度学习的方法。传统的光场图像超分辨方法利用深度或视差估计技术进行建模，然后将超分辨表述为一个优化问题。基于深度学习的方法利用跨视图冗余和视图之间的互补信息来学习从低分辨率视图到高分辨率视图的映射。近年来基于深度学习的方法相比于传统方法在效果上有了显著的提升，但是现有的无论是卷积还是Transformer网络,大多通过最小化均方误差重建高分辨率图像，产生较高峰值信噪比(Peak Signal to Noise Ratio,PSNR)，但此做法会使生成图像较为平滑，高频细节不够。

发明内容

为克服现有技术存在的缺陷，本发明公开了一种基于生成对抗网络的光场图像超分辨率模型及其训练方法。

本发明所述基于生成对抗网络的光场图像超分辨率模型，包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；

所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层，所述加深卷积层包括1个三维卷积层和1个激活层；

所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成，

所述空间特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第一多层感知层、第一归一化层、第一多头自注意机制、第二归一化层和第二多层感知层，所述第一多头自注意机制的输出端与第一多层感知层的输出端进行跳跃连接，第二多层感知层的输出端和第二归一化层的输入端进行跳跃连接；跳跃连接即相加操作。

所述角度特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第三归一化层、第二多头自注意机制，第四归一化层和第三多层感知层，所述第一多头自注意机制的输出端与第三归一化层的输入端进行跳跃连接，第三多层感知层的输出端和第四归一化层的输入端进行跳跃连接；

所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；

所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别。