[发明专利]一种基于深度学习的快速图像超分辨率重建方法

权利要求书

1.一种基于深度学习的快速图像超分辨率重建方法，其特征在于：包括如下步骤：

Step1、选取图像训练集与测试集，并处理得到低分辨率图像块、高分辨率图像块；

Step2、用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；

Step3、将低分辨率图像进行转置卷积处理，获得图像的高分辨率空间低频特征信息；

Step4、图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果；

Step5、图像预估的高分辨率重建结果与高分辨率图像块进行损失值度量；

Step6、再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，得到训练好的网络模型；

Step7、在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。

2.根据权利要求1所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step1中，选用包含200张png格式的高分辨图像BSD200数据集和91张bmp格式的图像集Train91作为模型训练集，选用Set5，Set14，BSD100，Urban100作为标准测试集；为解决内存空间负载过大的问题，当放大倍数为3时，将图像切割成48×48大小的低分辨率图像块(Low Resolution，LR)及对应的144×144大小的高分辨率图像块y_HR(High Resolution，HR)。

3.根据权利要求1所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step2的具体步骤：

Step2.1、将低分辨率图像作为输入值，通过包含5个卷积块的特征抽取网络进行特征抽取；

其中每个卷积块依次使用196，137，102，73，48个大小为3×3的滤波器；同时，为了降低训练难度，每一个卷积块的特征信息除依次传递给下一个卷积块外，还通过递归快捷连接的方式传递到特征抽取网络的末端；

特征抽取网络N₁包含5个卷积块，5个卷积块表述为：

g₁(T_d-1)＝PReLU(aC_d-1，C_d-1)＝T_d，其中C_d-1＝W₁*C_d-2+b₁为d-1个卷积块的输出，d＝1，…，5为网络深度，C₀＝x为低分辨率输入图像；W₁表示特征抽取网络滤波器的参数值，b₁为其偏置Bias，符号“*”表示卷积过程Conv；a为带参数修正线性单元PReLU的初始值，由于卷积块之间前后传递，其相互关系为：其中。为函数之间的组合，g^d代表d个函数的点积，该网络的末端包含一个三维合并操作，将前面各层卷积块合并成556维，得到抽取特征信息

Step2.2、嵌套网络N₂进行特征精细化：嵌套网络N₂使用两个并行子网络，其中一个网络通道使用大小为1×1的滤波器将图像特征由556维降低到64个维度，另一个通道也先采用同样的办法降低维度，随后再用3×3的滤波器将64个维度进一步降低到32个维度；在嵌套网络末端，重建细节再次做三维合并，此时得到的通量为图像帧的高分辨率细节T₂；

Step2.3、子像素上采样：该阶段先将重建的高分辨率细节进行特征融合，使特征通道数目符合图像帧的放大倍数，随后通过子像素插值混叠过程Subpixel进行像素之间的融合处理，即：其中特征通道由H×W×r²C变为rH×rW×C，r为图像帧的放大倍数；H表示图像的高度，W表示图像的宽度，C为图像的通道个数。