[发明专利]一种基于生成对抗网络的单幅图像超分辨纹理增强方法

权利要求书

1.一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，具体步骤如下：

步骤1：收集基准数据集，将基准数据集中的高分辨率图像降为低分辨率图像；

步骤2：将经步骤1得到的低分辨率图像的观测值进行放大，生成过平滑图像；

步骤3：将步骤2产生的过平滑图像输入到深度残差网络SRResNet中，使用生成对抗网络提供的框架，把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间；

步骤4：将步骤3生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导过平滑图像进行网络训练，最终得到具有更多纹理细节的高分辨率图像。

2.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤1为收集使用广泛的三个基准数据集Set5、Set14和Urban100，将基准数据集中的高分辨率图像I_HR使用下采样算子降为低分辨率图像I_LR。

3.根据权利要求2所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1，使用下采样算子如式(1)将数据集中的高分辨率图像I_HR∈[0,1]^αw×αh×c降为低分辨率图像I_LR如式(2)：

d_α:[0,1]^αw×αh×c→[0,1]^w×h×c (1)

I_LR＝d_α(I_HR)∈[0,1]^w×h×c (2)

其中，w为图像宽度，h为图像高度，和c为图像的彩色通道，α为固定的缩放因子；

步骤1.2，对于固定的缩放因子α＞1，图像宽度w，图像高度h和图像的彩色通道c，单图像超分辨率提供一个从I_HR估计I_LR的近似逆f≈d-1：

f(I_LR)＝I_est≈I_HR (3)

得到低分辨率图像I_LR，其中d为下采样因子。

4.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤2具体为：将经步骤1下采样算子得到的低分辨率图像I_LR的观测值进行上采样双三次插值放大，生成过平滑图像I_s。

5.根据权利要求4所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤2中双三次插值计算公式为：

I_s＝f(i+u，j+v)＝ABC (4)

其中，A、B、C均为矩阵，其形式如下：

A＝[S(1+u)S(u)S(1-u)S(2-u)] (5)

C＝[S(1+v)S(uv)S(1-v)S(2-v)]^T (7)。

6.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤3具体包括：利用生成对抗网络的框架结构，将卷积神经网络作为生成网络G_θG，定义判别网络D_θD，定义判别网络D_θD与生成网络G_θG交替优化解决对抗性极大极小值问题，如下式所示：

7.根据权利要求1所述的一种基于生成对抗网络的单幅图像超分辨纹理增强方法，其特征在于，所述步骤4具体包括以下步骤：

步骤4.1，通过结合感知损失函数和纹理损失函数来指导网络训练，其中感知损失函数L_P由内容损失和对抗性损失两部分构成：

步骤4.1.1，内容损失：函数选择用基于特征空间的最小均方差代替传统的基于像素空间的最小均方差，特征是利用VGG网络提取的图像高层次特征，计算公式如(9)所示：

步骤4.1.2，对抗性损失：在内容损失之外，还在感知损失中加入了生成对抗网络的生成成分，促使网络通过欺骗判别网络保留存在于自然图像的细，根据判别器D_θD(G_θG(I^LR))在所有训练样本上的概率定义了生成对抗性损失

D_θD(G_θG(I^LR))是重建图像G_θG(I^LR)为真实高分辨率图像的估计概率，为了获得更好的梯度行为，最小化-logD_θD(G_θG(I^SR))替代log[1-D_θD(G_θG(I^LR))；

步骤4.2，设定纹理损失函数L_T：给定目标纹理图像，通过匹配从预先训练过的网络提取的信息统计到目标纹理，迭代地生成纹理丰富的输出图像和通过减少对抗性损失项的伪影来增加的峰值信噪比值，统计利用φ(I)∈R^n×m在给定VGG层上的特征激活和长度为m的n个特征之间的相关性，如(11)所示：

步骤4.3，将指导训练的过平滑图像和生成对抗网络框架中的生成网络和判别网络进行动态博弈，最终得到具有更多纹理细节的高分辨率图像。