[发明专利]基于CNN-Transformer混合自编码器的图像盲运动去模糊方法

权利要求书

1.基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述方法包括两个阶段，分别为模型训练阶段和预测阶段，所述模型训练阶段包括以下步骤：

步骤一：准备图像去模糊标准数据集；

步骤二：实验数据预处理；在进入模型训练之前将实验数据随机切割为256x256大小；

步骤三：将图像去模糊标准数据集的训练集中的模糊图片输入混合自编码器部分进行恢复；

步骤四：将混合自编码器生成的潜在清晰图像与其标准数据集中相对应的目标清晰图片一起输入判别器，判别器计算损失后返回梯度；

步骤五：混合自编码器接收来自判别器的梯度进行参数更新，如此反复，直至训练次数到达预先设定的数量；

所述预测阶段为：将需要去模糊的图像输入至训练好的混合自编码器内，即可输出去模糊后的清晰图像，所述混合自编码器预测一个预测残差图像I^R，最后将输入的模糊图像I^B与残差图像I^R相加获得最终的输出：I^S＝I^B+I^R。

2.根据权利要求1所述的基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述步骤一中选择的运动模糊数据集为：GoPro数据集、DVD数据集和NFS数据集。

3.根据权利要求1所述的基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述混合自编码器包括CNN-Transformer混合编码器和解码器，实验数据首先进入CNN-Transformer混合编码器进行编码表示，然后再输入解码器进行上采样，逐步恢复为原始大小的图片。

4.根据权利要求1所述的基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述混合自编码器是由CNN与Transformer组成的混合结构，所述的Transformer由自注意力层与前馈神经网络组成，其将编码后的特征输入解码器模块，为了弥补Transformer对位置信息不敏感的问题，编解码器之间存在三个横向链接，将包含丰富位置信息的高分辨率CNN特征与编码后的特征表示在解码过程中进行拼接。

5.根据权利要求1所述的基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述判别器采用全局尺度与局部尺度的双判别器设计，全局判别器以混合自编码器恢复后的潜在清晰图像与目标清晰图像作为输入；局部判别器采用混合自编码器恢复后的潜在清晰图片与目标清晰图像的随机分割块作为输入。

6.根据权利要求1所述的基于CNN-Transformer混合自编码器的图像盲运动去模糊方法，其特征在于：所述判别器采用相对论最小二乘判别器，相应的对抗损失函数L_D为：

其中x～p_data(x)代表输入x是来自实验数据分布的一个采样，z～p_z(z)代表z是来自一个简单噪声分布的一个采样，G代表混合自编码器，D代表判别器；

模型整体损失除了对抗损失以外，还包括恢复重建损失以及感知损失，其中恢复重建损失L_C采用的是Charbonnier Loss，具体的表达式如下所示：

其中I^B代表模糊图片，代表混合自编码器生成的潜在清晰图片，I^S代表目标清晰图像；

感知损失L_X计算潜在清晰图片与目标清晰图片分别经过在ImageNet上预训练的VGG19网络的第3个最大池化层前第三次卷积激活后得到的特征图之间的差异，具体的表达式如下所示：

其中代表在ImageNET上预训练的VGG19网络的第i个最大池化层前第j次卷积激活后得到的特征图，W_i，j和H_i，j代表特征图的维度；

模型的整体损失函数如下所示：

L_G＝ω₁*L_D+ω₂*L_X+ω₃*L_C

其中ω₁、ω₂、ω₃为各个部分占的权重。