[发明专利]一种基于联合深度网络的压缩低分辨率图像复原方法

权利要求书

1.一种基于联合深度网络的压缩低分辨率图像复原方法，包括整体流程、离线部分和在线部分；其特征在于：

整体流程：首先设计了图像复原的处理流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图尺寸的调整，完成退化图像映射到复原图像；

离线部分：包括3个步骤：训练样本彩色空间变换；训练样本库生成；网络训练及模型获取；其中，训练样本库生成方法中包括训练样本获取的三个阶段；网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取；

在线部分：包括5个步骤：特征提取；特征增强；特征图重建；高频信息提取；高频信息融合；其中，特征提取包括图像块提取，特征表示；高频信息融合包括特征融合，残差图像融合；

所述的整体流程，具体步骤如下：

1图像复原流程包括去压缩失真处理和超分辨率复原处理；当待处理的退化图像放大倍数为a时，图像复原流程具体如下：

在去压缩失真处理中，输入退化图像，对其进行特征提取、特征增强和特征映射重建，产生去压缩失真的特征图；然后，在超分辨率复原处理中，首先将去压缩失真的特征图插值放大a倍，输出后的HR初始估计图像的尺寸是输入退化图像尺寸的a倍，但是HR初始估计图像缺少图像高频信息；然后，经过高频特征提取和高频信息融合得到残差图像；最后，残差图像与HR初始估计图像相加后得到重建后的HR图像；

2网络结构包括28个卷积层，25个RELU激活模块，1个双三次Bicubic插值放大模块，2个融合层；其中，在去压缩失真的步骤中，由4个卷积层和3个RELU激活模块组成去压缩失真的子模块，每个卷积层对应特征提取、特征增强、非线性映射、特征重建的步骤，在尾端级联一个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真的子网络，包括8个卷积层和6个RELU激活模块；在超分辨率复原的步骤中，由1个双三次Bicubic插值放大模块，20个卷积层，19个RELU激活模块，两个融合层组成一个超分辨率复原子网络，其中高频信息提取阶段采用19个卷积层，重建阶段采用1个卷积层，两个融合层包括特征图融合、残差图像融合；

在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D，其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；如5×5×3×20:代表滤波器宽高各为5个像素，输入图像通道数为3，共20种滤波器；

所述的离线部分，具体步骤如下：

1训练样本彩色空间变换：将图像从RGB颜色空间转换到YCbCr颜色空间；只对图像的亮度通道Y进行处理；

2训练样本库生成：首先采用滑动窗在图像上滑动，随机裁剪生成大量子图像Z；然后先经过不同放大倍数的下采样D，再经过不同放大倍数上采样U，生成无压缩失真的低分辨率训练样本；最后采用JPEG压缩方法Q，分别进行不同压缩质量参数CQ的压缩处理，生成不同压缩失真程度的低分辨率训练样本X；所得训练样本根据不同阶段重建监督的需求进行分组；图像退化过程如公式1所示；

X＝DUQ(Z) 1

3训练网络：首先，为去压缩失真子网络和超分辨率复原子网络分别建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题；其中，去压缩失真子网络采用MSE损失函数确定误差，通过随机梯度下降法(SGD)调整最优化网络参数，基础学习率设置为0.0001，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；超分辨率复原子网络采用微批梯度下降法mini-batch计算网络误差并调节网络参数，基础学习率设置为0.1，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；最后，经过反复迭代，当达到预设的最大迭代次数4万次时停止训练，获得图像复原的网络模型；

所述的在线部分，具体步骤如下：

1对输入图像进行特征提取：获取一幅待处理的压缩失真的低分辨率，采用滑动窗提取重叠的图像块；并将每个图像块表示为向量，由这些向量组合成特征图的集合；根据逐层特征图可视化得到特征变换的重要信息，但是特征提取阶段所得到的特征图含有噪声和伪影；

2对含噪声的特征图进行去噪声并实现特征增强：对特征提取得到的特征图进行卷积操作；利用离线训练所得到的含噪声特征与无噪声特征的映射关系，进行含噪声特征的自适应调节，完成含噪声特征到理想特征空间的映射；特征增强层产生去除噪声的特征图，但是所得到的特征图过亮或过暗；

3去噪声特征图的重建：将去除噪声特征图中的向量非线性映射到另一个向量中；由这些向量组成多个重建特征图，再由多个重建的特征图平均产生一个重建特征图；

以上三个步骤为一个去压缩失真子模块的处理过程，在去压缩失真子模块之后需要级联一个相同的去压缩失真子模块，重复前三个步骤处理过程，获得去压缩失真重建特征图，它的尺寸与输入图像的尺寸相同；

4高频信息提取：对去压缩失真得到的特征图处理，采用双三次插值放大Bicubic的方式进行a倍插值放大，产生高分辨率HR初始估计图像，它的尺寸是去压缩失真特征图尺寸的a倍；采用十九个卷积层得到卷积滤波后的特征图；

5高频信息融合：第十九层的特征图作为无融合的特征图；将各层卷积后的特征图进行逐层特征可视化、分析各层特征图的相关性，选择加权融合第十八、十九层的特征图，作为融合的特征图；将有无融合的特征图通过重建层产生两个残差图像，再将两个残差图像加权融合得到融合后的残差图像；最后将融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像。

2.根据权利要求1所述方法，其特征在于：在图像复原过程中，各卷积层输入和输出特征图的变化如下：

没有加入池化层和全连接层，在前8个卷积层中先采用先卷积操作，再对输出尺寸变化的特征图采用上采样操作，旨在保证输入特征图与输出特征图的尺寸不变；在压缩失真处理过程中，输入图像大小为1×64×64的特征图，在第一个卷积层中，先经过64个卷积核9×9之后会产生64×56×56的特征图，再经过上采样得到64×64×64的特征图；在第二个卷积层中，输入大小为64×64×64的特征图，先经过32个卷积核7×7之后会产生32×58×58的特征图，再经过上采样得到32×64×64的特征图；在第三个卷积层中，输入大小为32×64×64的特征图，先经过16个卷积核1×1之后会产生16×64×64的特征图；在第四个卷积层中，输入大小为16×64×64的特征图，先经过1个卷积核5×5之后会产生1×60×60的特征图，再经过上采样得到1×64×64的特征图，此时，第四个卷积层的输出特征图与第一个卷积层的输入特征图相等，与第一个到第四个卷积层相同，第五个到第八个卷积层重复它们的操作，第八个卷积层会产生1×64×64的特征图，完成前八个卷积层的去压缩失真处理；在超分辨率复原操作中，去压缩失真处理的输出特征图作为超分辨率复原处理的输入特征图，输入大小为1×64×64的特征图，经过四倍双三次插值放大产生1×256×256的特征图，作为高分辨率初始估计图，再经过二十个卷积层处理；其中，在第一个卷积层中，输入大小为1×256×256的特征图，先经过64个卷积核3×3之后会产生64×254×254的特征图，再经过64×254×254的特征图上下左右各一个补零后得到64×256×256的特征图；其余第二个到第十九个卷积层与第一个卷积层呈现相同的操作，第十九个卷积层会产生64×256×256的特征图，它是没有信息融合所得到的特征图；在特征图融合层中，分别为第十八个和第十九个卷积层的输出特征图赋予权重0.4和0.6，它们加权后的结果为64×256×256的信息融合特征图；在第二十个卷积层中，分别处理有无信息融合的特征图，在第一个处理过程中，将输入大小为64×256×256的无信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图，再经过上采样得到1×256×256的无信息融合的残差图像；在第二个处理过程中，将输入大小为64×256×256的有信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图，再经过上采样得到1×256×256的有信息融合残差图像，前后共得到两个输出图像；在残差图像融合层中，给有无信息融合的残差图像分别赋予权重0.6和0.4，它们加权后的结果为1×256×256的残差图像；最后，将与1×256×256的残差图像与1×256×256的高分辨率初始估计图相加后得到1×256×256的高分辨率图像。