[发明专利]一种基于深度残差网络的单照片超分辨增强方法

说明书

技术领域

本发明涉及图像增强领域，尤其是涉及了一种基于深度残差网络的单照片超分辨增强方法。

背景技术

分辨率增强技术是一种有效的克服传感器技术限制，提高图像空间分辨率的方法。因为它的应用可以提高图像的空间分辨率，这样人们更容易分辨和识别出图像中的细节信息，因此分辨率增强技术对提高目标检测能力具有重要意义。例如，在军事上，高的空间分辨率遥感图像更容易获取坦克、飞机等目标的信息，为进一步的军事指挥计划、实施军事打击等提供必要的帮助；在医学上，更高空间分辨率的CT或MRI等图像可以使医生对微小病变组织等进行精确识别，更准确地诊断病人的病情，为人类健康造福；在抢险救灾中，更高空间分辨率的图像对于准确地检测出起火点、溃堤点位置等，对及时挽救人民生命财产安全具有重要意义。因此针对高光谱图像特点进一步研究新的空间分辨率增强方法，对提高目标检测能力是非常必要的，对加强我国国防建设，发展国民经济等都具有重要的意义。此外，随着高新技术的出现，提高图像的分辨率有助于智能导航、人机交互机器人、交通工具自动停泊等新兴领域的发展。

传统方法中，在观察者对场景采用了变焦观察方法时，观察者需要在不同的焦距下观察场景的局部细节特征。然而为了保证场景的效果，图像不可能无限制地放大。采用传统插值方法对图像进行数倍放大处理后，图像将会变得整体模糊，边缘处更会产生锯齿现象。如果继续提高图像的放大倍数，图像的质量将下降得非常快。因此，如何有效的提高图像的分辨率已成为基于图像的虚拟现实系统需要解决的一个重要问题。

本发明提出了一种基于深度残差卷积与叠加的新框架。使用一系列卷积模块和像素重整模块搭建深度残差网络，使用独立的卷积层和数据叠加层进行图像残差的提炼和叠加，然后中间数据经过像素重整模块，里面的上采样操作将输入图像的清晰度提高。本发明可以处理不同尺寸图像的超分辨率增强，提供单变换和多变换框架解决图像生成，同时在控制图像视觉上的扭曲程度下提高图像的清晰度和分辨率。

发明内容

针对解决在常规不定尺寸图像中进行图像分辨率增强的问题，本发明的目的在于提供一种基于深度残差网络的单照片超分辨增强方法，提出了一种基于深度残差卷积与叠加的新框架。

为解决上述问题，本发明提供一种基于深度残差网络的单照片超分辨增强方法，其主要内容包括：

(一)卷积模块；

(二)独立结构层；

(三)变换模型；

(四)损失函数。

其中，所述的卷积模块，包括一般结构层和数据叠加层。

所述的一般结构层，将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层，具体地：

(1)第一卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；

(2)非线性激活函数：采用ReLU激活函数，其函数特性及作用为引入非线性操作，将特征图中小于零的值变成零，而大于零的值维持不变：

f(x)＝max(0,x),(1)

(3)第二卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1。

所述的数据叠加层，包括局部叠加和全局叠加两部分，具体为：

(1)局部叠加：在处理中间数据时，输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并，并且作为该卷积模块的输出，继续输入到下一卷积模块；

(2)全局叠加：最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加，输入到像素重整模块。

所述的像素重整模块，包括一个卷积层和一个像素重整层，具体为：

(1)卷积层：卷积核大小为3×3，输出特征图个数为256，卷积步长为1；

(2)像素重整层：使用比例系数C，对输入数据流进行上采样操作。

所述的独立结构层，包括三个独立卷积层一个批归一化处理层，分别应用在网络框架前端、中端和终端，具体设置为：

(1)卷积层I1：卷积核大小为9×9，输出特征图个数为64，卷积步长为1；

(2)卷积层I2：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；

(3)批归一化处理层：在训练过程中，按照每批次训练的方式，将数据x进行归一化处理，具体为：

其中，E(·)和Var(·)分别表示取绝对值操作和取方差操作；

(4)卷积层I3：卷积核大小为9×9，输出特征图个数为F，卷积步长为1。

所述的变换模型参数设置，包括单变换模型参数设置和多变换模型参数设置。