[发明专利]一种基于残差学习及空间变换网络的光场超分辨率重建方法

权利要求书

1.一种基于残差学习及空间变换网络的光场超分辨率重建方法，其特征在于：

基于残差学习及空间变换网络网络由全局残差连接的空间变换网络模块，上采样、Res-block模块与递归结构卷积神经网络组成；其中带有全局残差连接的空间变换网络模块由17层卷积层、2层linear层、网格生成器、采样器组成，上采样方式采用Bicubic插值法，Res-block模块是由卷积层数为2的卷积神经网络通过残差连接的方式组成，递归结构卷积神经网络由9组卷积层数为2的递归卷积模块和输入层卷积神经网络与输出层卷积神经网络组成；

将上述公开数据集中的光场图像按角度坐标u、v进行提取的方法提取14*14规格的子视点图像，每张子视点图像尺寸为544*376，选取其中6*6的子视点图像进行实验，对其进行下采样处理；得到低分辨率图像作为输入，低分辨率具体数值等于原图像分辨率除以下采样倍数，用梅花采样的排序将图像按照上、下、中间、左、右的方式标记，若遇边界情况，不能构成梅花采样的排序，则缺失的位置图按其他位置图像的像素之和然后取均值代替，随后把所有图像颜色通道均转换为YCbCr通道，由于人眼对亮度信息最为敏感，单取Y通道作为输入的特征信息，在得到输入图像的特征图后，将图像按照上述梅花采样方法分为上、下、左、右四路分别放入各条分支的空间变换网络中，我们对定位器的特征提取部分进行了改进，在此使用全局残差连接的17层卷积神经网络进行特征提取，其中第一层卷积神经网络的输入通道与最后一层卷积神经网络的输出通道是1，其他卷积层的输入输出通道均取64，卷积核尺寸为3*3，步长为1；激活函数采用Relu；此时将通道为1的Y通道图像输入，通过3*3卷积核计算得到64通道的中间特征图，中间卷积层数为15层，中间通道均为64，最后到定位器最后一层卷积层，输出通道数为1的特征图，与原始特征图进行相加，并经过两层linear层进行回归，得到2*3维度的仿射变换矩阵，然后网格生成器依据预测的变换参数来构建一个采样网格，它是一组输入图像中的点经过采样变换后得到的输出；然后通过图像采样器，将输入特征图和采样网格作为输入，生成采样输出特征图；使用双线性采样器对采样网格中的像素和邻域像素进行插值，得到目标图像的近似图像；对于梅花采样中的中间位置图像的处理，我们采用Bicubic插值法对图像进行上采样，将上采样的结果通过3个相同结构的卷积层数为2的Res-block模块进行卷积计算，每个模块通过局部残差连接，模块的输入通道为1，输出通道为1，中间通道均为64；然后与上述四张图像经过空间变换网络之后的结果进行通道的合并，得到通道数为5的特征图，然后输入到递归结构的卷积神经网络中进行图像细节的恢复，首先经过输入层卷积神经网络，输入通道为5，输出通道为64，卷积核尺寸为3，步长为1，然后经过9组递归卷积模块，每组为2层卷积神经网络组成，输入输出通道均为64，步长为1，卷积核尺寸为3，得到的结果作为残差与之前经过第一层卷积层计算后的结果相加，相加得到的结果作为输入送进输出层卷积神经网络，输入通道为64，输出通道为1，步长为1，卷积核尺寸为3，通过递归结构连接组成，经上述操作，最终得到1通道的高分辨率目标图像，高分辨率具体数值等于输入图像分辨率乘超分辨率倍数。

2.根据权利要求1所述的方法，其特征在于4+1的融合模型由全局残差连接的空间变换网络模块与上采样、Res-block模块组成，全局残差连接的空间变换网络模块包括定位器，网格生成器，采样器三部分，上采样采用Bicubic插值，通过3个相同结构的卷积层数为2的Res-block模块通过局部残差连接组成。

3.根据权利要求1所述的方法，其特征在于定位器的全局残差连接的卷积计算设计，其中第一层卷积神经网络的输入通道与最后一层卷积神经网络的输出通道是1，其他卷积层的输入输出通道均取64，卷积核尺寸为3*3，步长为1，激活函数采用Relu。此时将通道为1的Y通道图像输入，通过3*3卷积核计算得到64通道的中间特征图，中间卷积层数为15层，中间通道均为64，最后到定位器最后一层卷积层，输出通道数为1的特征图，与原始特征图进行相加，并经过两层linear层进行回归，得到2*3维度的仿射变换矩阵。