[发明专利]密集连接生成对抗网络单幅图像超分辨率重建方法

权利要求书

1.一种密集连接生成对抗网络单幅图像超分辨率重建方法，其特征是，包括生成网络和对抗网络两部分，生成网络采用残差密集网络RDN的基本框架，使用5个稠密连接块DCB块作为基本模块，对抗网络采用深度卷积生成对抗网络DCGAN鉴别器网络框架，低分辨率图像作为输入送进生成网络经处理后，将得到的输出送到对抗网络进行判定，判定结果再通过损失函数反馈回生成网络，如此循环，直至对抗网络判定合格，生成网络可以生成清晰图像，然后利用训练好的生成网络完成低分辨率图像的超分辨率重建，其中，生成网络基本框架前两层为浅层特征提取层，核大小与数量为(3,64)；中间为特征提取层，由5个DCB模块组成，每个模块的输出都送到一个连接层concat层，concat层后紧跟一个核大小与数量为(1,64)的瓶颈层；然后将瓶颈层的输出与第一层的输出做残差；最后为一层上采样层,核大小、步长与数量为(6,2,2,3)；

深层生成对抗网络DCGAN中利用长步长卷积替代上采样层，归一化层将特征层的输出归一化到一起，在判别器中调整激活函数，防止梯度稀疏，基于DCGAN的对抗网络由一个卷积块，6个CBL块，和一个稠密连接构成，CBL块中采用LeakyReLU作为激活函数δ，输出为1024的全连接层Dense1024和输出为1的全连接层Dense1由卷积层来实现，最后经过一个sigmoid函数得到输出值，网络中卷积核的大小均为3×3，填充均为1；

损失函数由三部分加权组合而成：

第一部分为lⁱ_mage是基于像素点的L1范数损失函数，其中，Gⁱ(x)代表输入的第i幅低分辨率的图像X通过生成器后得到的分辨率提升后的图像，Xⁱ为对应的原始图像，n代表图像的数目；卷积神经网络VGG16的内容损失函数lVGG，

将模型训练得到的结果Gⁱ(x)，与原始的清晰的图像Xⁱ分别送入预训练好的VGG16的网络中，计算通过第k个卷积层得到的特征图之间的欧式距离，φ_k,j表示VGG16的第k个卷积层输出的第j张特征图，N代表第k个卷积层输出的特征图的总量，内容损失函数能确保两图像的内容相似，对抗损失l_D，

2.如权利要求1所述的密集连接生成对抗网络单幅图像超分辨率重建方法，其特征是，需要进行训练集的制作与数据预处理：

首先对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，并以此模拟真实情况下所获取的低分辨率图像，将其作为输入，同时利用双三次插值公式，对高分辨率图像进行下采样处理：

I_lr＝W(x)*I_hr

其中I_lr为下采样得到的低分辨率图像,I_hr为高分辨率图像，W(x)为双三次插值的权重矩阵，根据I_lr和I_hr中对应像素点的距离x进行计算然后对下采样得到的低分辨率图像I_lr和高分辨率图像进行数据归一化处理，得到归一化图像矩阵I_lrb:I_lrb＝I_lr/255，I_hrb:I_hrb＝I_hr/255，然后对低分辨率图像和对应的高分辨率图像进行随机切块，最后制作完成的低分辨率图像的切块用于级联残差网络的输入，而高分辨率图像的切块作为网络的标签，利用所制训练集完成对神经网络的训练。

3.如权利要求1所述的密集连接生成对抗网络单幅图像超分辨率重建方法，其特征是，每个DCB块包含四个卷积层Conv1、2、3、4和一个瓶颈层Conv5，在每个卷积层之后，都有一个级联操作来实现残差中的密集连接，DCB末端的瓶颈层是局部特征融合层，用于对大量特征图进行融合；

DCB中四个卷积层的卷积核大小设置为3×3，最后瓶颈层的核大小设置为1×1，假设第d个DCB块的输入和输出分别是D_d-1和D_d，D_c表示为第4个concat层的输出，则：

D_c＝f_cat4f_cr4(f_cat3f_cr3(f_cat2f_cr2(f_cat1f_cr1(D_d-1)))) ₍₁₎

其中，f_cri表示第i个卷积层与ReLU层的卷积、ReLU激活操作，i＝1,2,3,4，f_cati表示第i个卷积层的concat级联操作，使用f_bo表示瓶颈层中的卷积操作，DCB的输出表示为：

D_d＝f_bo(D_c)                         (2)

DCB中的瓶颈层是局部特征融合操作，用于自适应地融合D_d-1模型的特征和当前模型中所有卷积层的输出。