[发明专利]基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法

权利要求书

1.基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统，其特征在于，包括多尺度特征提取单元、分区域重建单元、分区域监督单元、角点引导重建单元以及梯度加权约束单元，所述多尺度特征提取单元和分区域监督单元均与分区域重建单元连接，所述分区域重建单元和梯度加权约束单元均与角点引导重建单元连接；

所述多尺度特征提取单元，用于通过级联沙漏网络结构提取输入图像的多尺度信息的特征；

所述分区域重建单元，用于通过不同深度的多尺度特征分别重建多个初始的超分辨率图像；

所述分区域监督单元，用于通过角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；

所述角点引导重建单元，用于通过提取到的角点信息来引导重建超分辨率图像；

所述梯度加权约束单元，用于通过图像的梯度信息来加权损失函数，从而约束模型的拟合方向，加强角点区域的拟合能力。

2.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统，其特征在于，所述多尺度特征提取单元包括沙漏型网络模块和多尺度连接模块，每两个沙漏型网络模块之间通过多尺度连接模块连接；

所述沙漏型网络模块，用于获取不同尺度下的特征并融合；

所述多尺度连接模块，用于串联多个所述沙漏型网络模块的特征输出，并进一步增强多尺度的信息融合。

3.根据权利要求2所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统，其特征在于，所述沙漏型网络模块包括多层Top-Down结构和Bottom-Up结构；所述Top-Down结构每一层的输入都先经过一个卷积层，再进行最大值池化处理，类比于图像高斯金字塔的流程，卷积层对应于高斯金字塔的高斯滤波，最大值池化对应于高斯金字塔的下采样；所述Bottom-Up结构每一层先进行最近邻上采样，再经过一个卷积层，最后加上来自于Top-Down部分对应分辨率的输入，同样类比于图像拉普拉斯金字塔的流程，最近邻上采样对应于拉普拉斯金字塔的上采样，卷积层对应于拉普拉斯金字塔的插值滤波器，相加过程对应于拉普拉斯金字塔的插值图像与预测残差相加过程；所述Top-Down结构构建了不同尺度的特征，Bottom-Up结构给不同尺度的特征分别增加了信息，最后还原回初始的分辨率大小，即输入经过沙漏型网络模块时，在不同的尺度空间附加了相应的信息，最终得到了优化的特征。

4.根据权利要求3所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统，其特征在于，所述分区域重建单元在不同深度的多个沙漏型网络模块之后分别接了一个重建模块用于生成超分辨率图像，让不同深度的沙漏型网络模块都提取有利于最终超分辨率结果的信息，随着深度的增加不断加强其特征表达能力，最后得到更好的超分辨率结果。

5.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统，其特征在于，所述分区域监督单元包括角点检测模块和监督模块；

所述角点检测模块，利用角点检测算法处理高分辨率图像，再根据设定的阈值将图像划分为平坦、边缘和角点区域；

所述监督模块，利用划分的三种区域监督各初始超分辨率图像的重建，所述监督模块的实施过程表示为：

L_i＝l(f_i*hr,f_i*sr_i)

其中L_i为优化目标；l(hr,sr_i)为任意的常用损失函数，f_i是角点检测算法划分的区域；下标i表示不同深度的重建模块以及对应的划分区域；通过优化目标函数L_i，不同深度的模块分别学习不同区域的特征，使得重建的初始超分辨率图像具有各自区域的特点。