[发明专利]基于部分到整体注意力机制的多层次图像修复方法

权利要求书

1.一种基于部分到整体注意力机制的多层次图像修复方法，其特征在于，具体步骤为：

(1)在U-Net结构的基础上构建多层次的深度卷积神经网络生成器，即去除U-Net结构的最后一个下采样层，并将其中原有的跳跃连接结构均替换为一系列空洞卷积组成的残差块网络结构；

(2)将部分到整体的注意力机制卷积层分别集成到深度卷积神经网络生成器和判别器中；训练深度卷积神经网络生成器，得到图像修复模型；

(3)利用图像修复模型，得到修复的图像；

所构建的多层次的深度卷积神经网络生成器中：

主干网络包括：1个输入特征提取层conv_in；3个下采样卷积层，分别记为conv_1，conv_2，conv_3；3个空洞残差块，分别记为drconv_1，drconv_2，drconv_3，分别连接在3个下采样卷积层conv_1，conv_2，conv_3之后；2个特征通道压缩层，记为conv_4，conv_5；2个注意力机制卷积特征层att_1和att_2，分别连接在2个特征通道压缩层conv_4，conv_5之后；1个输出卷积层conv_out；

所述判别器中，2个注意力层分别连接在第2、第3个卷积层之后；所有上述卷积层除输出卷积层conv_out以外均采用ReLU激活函数，输出卷积层采用Tanh激活函数；

步骤(2)中所述将部分到整体的注意力机制卷积层，分别集成到深度卷积神经网络生成器和判别器中，是将生成器或判别器网络某一层特征图M作为注意力机制卷积层的输入；具体是将整个特征图M和其中心占总大小25％的正方形区域m分别通过1×1卷积操作得到M_1与m_1，这里，1×1卷积输出通道数为输入通道数的八分之一；然后将其尺寸分别调整为N×C/8和C/8×n，其中N、n为相应的高、宽，C/8为通道数，然后进行矩阵相乘，将结果按列进行softmax运算后得到注意力图A，注意力图A的尺寸为N×n；最后，将特征图M再次通过1×1卷积的结果M_2的尺寸调整为C×N并与注意力图A进行矩阵相乘，上述1×1卷积操作维持输出通道数不变，得到特征图F，并将特征图F的尺寸调整为C×h×w，其中h、w分别为特征图F的高和宽；最后，该卷积层的输出O为：

O＝M-m+αm+βF

其中，α、β为可学习的参数，初始值分别为1和0。

2.根据权利要求1所述的基于部分到整体注意力机制的多层次图像修复方法，其特征在于，

生成器主干网络中，输入特征提取层convin的卷积核大小为7，步长为1，边缘填充大小为3，输入通道数为4，输出通道数为32；下采样卷积层conv_1，conv_2，conv_3的卷积核大小为4，步长为2，边缘填充大小为1，输入通道数分别为32、64、128，输出通道数分别为64、128、256；3个空洞残差块drconv_1，drconv_2，drconv_3中子块个数分别为16个、8个和4个，每个子块由卷积核大小为3，步长为1，边缘填充大小为2，扩张率为2，输出通道数维持不变的空洞卷积核和卷积核大小为3，步长为1，边缘填充大小为1，输出通道数维持不变的普通卷积核构成，每个子块的输出为输入经过上述卷积核得到的结果与输入的求和；2个特征通道压缩层conv_4，conv_5中，conv_4的卷积核大小为3，步长为1，边缘填充大小为1，输入通道数为256，输出通道数为128；conv_5的卷积核大小为5，步长为1，边缘填充大小为2，输入通道数为128，输出通道数为64；上采样反卷积层deconv_1，deconv_2，deconv_3的卷积核大小为4，步长为2，边缘填充大小为1，输入通道数分别为256、128、64，输出通道数分别为128、64、32；输出卷积层conv_out的卷积核大小为7，步长为1，边缘填充大小为3，输入通道数为32，输出通道数为3。