[发明专利]基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法

说明书

本发明公开了一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法，模型包括：多尺度特征提取单元，利用级联沙漏网络结构提取输入图像的多尺度信息的特征；分区域重建单元，利用不同深度的多尺度特征分别重建多个初始的超分辨率图像；分区域监督单元，利用角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；角点引导重建单元，利用提取到的图像各区域信息；梯度加权约束单元，基于图像的梯度信息来加权损失函数，加强角点区域的拟合能力。本发明能够避免一幅图像的所有区域被同等对待，最终将重建得到的三个结果加权融合成更符合人类视觉感受的超分辨率图像，有效地提升图像质量。

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法。

背景技术

图像超分辨率技术旨在从观测到的低分辨率图像中重建出对应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。由于一张低分辨率图像可能对应多种高分辨率图像，所以图像超分辨率问题，尤其是单帧超分辨率，是一个病态的逆问题。图像超分辨率的核心就在于如何从众多可能的高分辨率图像中找到一个边缘清晰、细节丰富且符合人类视觉审美的结果。

随着深度学习的发展，图像超分辨率结果的峰值信噪比(PSNR)已经得到了很显著的提升。但是现有的方法总是采用像素级别的拟合，而没有考虑图像本身的结构信息。从人类视觉角度而言，逐像素拟合生成的图像大都过于平滑且细节缺失过多。事实上，一幅图像的不同区域具有不一样的特征，对人眼的吸引力也是不同的，人类视觉更关注于像素变化剧烈且复杂的图像区域，例如树的年轮、地毯的花纹等各种纹理，而像晴朗的天空背景这种平坦的区域往往容易被忽略。然而像素级的拟合把所有的区域都一视同仁，进行了相同的处理，这就使得模型会更偏向于简单的平坦和边缘区域，因为二者经常占据了一幅图像的大部分区域且更加容易被拟合。过度的平滑和真实细节的缺失使得现有的超分辨率模型只能在人工合成的数据集上表现良好，而在真实场景拍摄的图像上表现不佳，甚至有可能不如传统的上采样方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法，通过构建级联沙漏网络结构，对输入图像的多尺度信息进行提取和融合，并基于学习到的特征分别重建具有不同区域特性的超分辨率结果，这样就能够避免一幅图像的所有区域被同等对待，最终将重建得到的三个结果加权融合成更符合人类视觉感受的超分辨率图像，有效地提升图像质量。

为了达到上述目的，本发明采用以下技术方案：

基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，包括多尺度特征提取单元、分区域重建单元、分区域监督单元、角点引导重建单元以及梯度加权约束单元，所述多尺度特征提取单元和分区域监督单元均与分区域重建单元连接，所述分区域重建单元和梯度加权约束单元均与角点引导重建单元连接；

所述多尺度特征提取单元，用于通过级联沙漏网络结构提取输入图像的多尺度信息的特征；

所述分区域重建单元，用于通过不同深度的多尺度特征分别重建多个初始的超分辨率图像；

所述分区域监督单元，用于通过角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；

所述角点引导重建单元，用于通过提取到的图像各区域信息，尤其是角点信息来引导重建超分辨率图像；

所述梯度加权约束单元，用于通过图像的梯度信息来加权损失函数，从而约束模型的拟合方向，加强角点区域的拟合能力。

作为优选的技术方案，所述多尺度特征提取单元包括沙漏型网络模块和多尺度连接模块，每两个沙漏型网络模块之间通过多尺度连接模块连接；

所述沙漏型网络模块，用于获取不同尺度下的特征并融合；