[发明专利]一种基于Transformers的低分辨率图像超分辨方法及系统

权利要求书

1.一种基于Transformers的低分辨率图像超分辨方法，其特征在于，包括以下步骤：

步骤1：基于卷积神经网络和Transformer模块，构建低分辨率图像超分辨网络；

所述低分辨率图像超分辨网络，针对输入的低分辨率图像，经过两个下采样的MBM层，数据先并行的流过不同的卷积单元，然后在通道维度拼接到一起，再依次经过卷积层、正则化层和激活层；经过两个下采样的MBM层后，特征图变换维度后经过3个Transformer单元后输出，再次经过维度变换，接着通过一个只改变通道数的MBM层恢复成高分辨率图像的大小；

所述MBM层，将前层的特征图并联经过7个卷积块，分别为核大小为1x1的卷积，核大小为1和1x3的卷积，核大小为1和3x1的卷积，核大小为1、1x3和3x1的卷积，核大小为1、3x1空洞为2和1x1的卷积，核大小为1、1x3空洞为2和1x1的卷积，核大小为1、3x3的最大池化和1x1的卷积；并且加入残差网络的shortcut结构，最后的特征图拼接后依次经过1x1的卷积、BN归一化层、Mish激活函数后得到MBM层的输出；

步骤2：利用训练数据进行低分辨率图像超分辨网络训练，获得调优的网络参数；

其中，从数据库中采集图像，所有的图像先进行下采样预设倍数后作为原始的低分辨率图像，未下采样的图像作为高分辨率参考图像；随机选取每类图像的部分图像组成训练集，其余图像组成验证集；

步骤3：利用训练好的低分辨率图像超分辨网络对低分辨率图像进行超分辨获得高分辨率图像。

2.根据权利要求1所述的基于Transformers的低分辨率图像超分辨方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：读取训练数据的图像对，包括低分辨率图像和其对应的高分辨率图像；

步骤2.2：针对图像对进行数据增广操作，包括缩放、裁剪、颜色抖动、翻转和镜像，并将图像对进行归一化处理；

步骤2.3：将图像对中的低分辨率图像组成一个批量Batch送入低分辨率图像超分辨网络进行前向计算，计算后得到超分辨后的高分辨率图像，并与原图像对中的高分辨率图像求误差损失；

步骤2.4：将误差损失反向传播以更新低分辨率图像超分辨网络的参数；

步骤2.5：重复步骤2.1-步骤2.4，直至低分辨率图像超分辨网络在验证集上的重建损失达到最小，然后保存低分辨率图像超分辨网络参数。

3.根据权利要求1所述的基于Transformers的低分辨率图像超分辨方法，其特征在于：步骤2.5中，采用余弦退火的训练策略，优化器为SGD，smooth_L1损失函数为：

其中，x为重建的图像，y为标签图像，n为像素点总数，i指每个像素点，x_i为重建图像的第i个像素值，y_i为标签图像的第i个像素值，z_i为中间值。

4.根据权利要求1所述的基于Transformers的低分辨率图像超分辨方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：将需要处理的低分辨率图像进行数据处理；

所有的图像先进行下采样4倍作为原始的低分辨率图像，未下采样的图像作为高分辨率参考图像；

步骤3.2：将处理后的图像输入到低分辨率图像超分辨网络中，进行网络前向计算；

步骤3.3：获得高分辨率图像。

5.根据权利要求1-4任意一项所述的基于Transformers的低分辨率图像超分辨方法，其特征在于：步骤2中，利用验证集验证低分辨率图像超分辨网络的训练效果，在验证阶段只需要将验证图像进行缩放和零均值处理。

6.一种基于Transformers的低分辨率图像超分辨系统，其特征在于，包括以下模块：

模块一，用于基于卷积神经网络和Transformer模块，构建低分辨率图像超分辨网络；

所述低分辨率图像超分辨网络，针对输入的低分辨率图像，经过两个下采样的MBM层，数据先并行的流过不同的卷积单元，然后在通道维度拼接到一起，再依次经过卷积层、正则化层和激活层；经过两个下采样的MBM层后，特征图变换维度后经过3个Transformer单元后输出，再次经过维度变换，接着通过一个只改变通道数的MBM层恢复成高分辨率图像的大小；

所述MBM层，将前层的特征图并联经过7个卷积块，分别为核大小为1x1的卷积，核大小为1和1x3的卷积，核大小为1和3x1的卷积，核大小为1、1x3和3x1的卷积，核大小为1、3x1空洞为2和1x1的卷积，核大小为1、1x3空洞为2和1x1的卷积，核大小为1、3x3的最大池化和1x1的卷积；并且加入残差网络的shortcut结构，最后的特征图拼接后依次经过1x1的卷积、BN归一化层、Mish激活函数后得到MBM层的输出；

模块二，用于利用训练数据进行低分辨率图像超分辨网络训练，获得调优的网络参数；

其中，从数据库中采集图像，所有的图像先进行下采样预设倍数后作为原始的低分辨率图像，未下采样的图像作为高分辨率参考图像；随机选取每类图像的部分图像组成训练集，其余图像组成验证集；

模块三，用于利用训练好的低分辨率图像超分辨网络对低分辨率图像进行超分辨获得高分辨率图像。