[发明专利]基于辅助边缘的图像超分辨率方法

说明书

本发明公开了一种基于辅助边缘的图像超分辨率方法。该方法中包括边缘重建子网络、图像重建子网络以及基于像素注意力机制的边缘融合模块。主要步骤是：(1)选择公开图像数据集并下采样得到低分辨率图像；(2)利用边缘提取算法计算高分辨率图像对应的边缘；(3)图像重建子网络从低分辨率图像中提取特征，重建初始高分辨率图像；(4)边缘重建子网络以图像重建子网络的低级特征作为输入，重建初始边缘图像；(5)边缘融合模块以初始高分辨率图像和边缘图像作为输入，融合边缘信息，对初始高分辨率图像进行优化，得到最终的高分辨率图像。本发明能够高效利用边缘信息，抑制边缘处模糊，实现高质量的超分辨率重建。

技术领域：

本发明属于计算机视觉中图像超分辨率的领域，具体涉及一种基于辅助边缘的图像超分辨率方法。

背景技术：

在图像的各个参数中,分辨率对图像的质量有着至关重要的影响。分辨率比较低的图像包含较少的数据,图像中就会丢失大量感兴趣的细节信息,造成不良的视觉体验。获取高分辨率图像最直接的方法是利用高分辨率相机等先进的硬件设备。然而这些先进高分辨率相机往往价格较为高昂,使得系统实现成本较高。除此之外,从更换先进硬件设备的角度来提高图像的分辨率,在物理上存在限制,不够灵活,难以满足不同分辨率的要求。图像超分辨率技术能够在不改变现有硬件情况下从退化的低分辨率图像中重建相应的高分辨率图像,相比于直接改善硬件设备,更加灵活方便。另外,改善硬件设备仅能保证当前获取的图像较高的分辨率,对于已有的低分辨率图像,是无法通过高分辨率相机提高分辨率的。

然而许多图像超分辨率重建方法,直接从整体考虑高分辨率图像的重建问题。在处理时,实际并未考虑具体的像素点的区域特征,如像素点是否属于边缘。对于图像中所有的像素点不加区分的重建,容易造成边缘过于平滑。一些方法从空间域的角度,显式重建边缘信息,对图像边缘进行增强。这些利用图像边缘的方法要么是直接构建一个平行的边缘提取网络从低分辨率图像中构造高分辨率图像对应的边缘图,要么从重建得到的超分辨率图像中获取边缘特征。这些方法忽略了在图像超分辨率重建环节中提取到的低级特征,这些低级特征必然是和边缘提取任务中提取的低级特征是重叠的。也就是说,这些方法没有有效利用超分辨率重建网络中的特征信息,导致了一定程度上的资源浪费。其次,在这些显式利用边缘信息的图像超分辨率网络中存在一个特征融合模块,用于融合重建得到的高分辨率图像和边缘图像。在这一部分的设计中,一些方法级联残差结构形成一个较为复杂的后处理模块,一些方法仅简单的进行相加操作,无法高效的进行融合。

发明内容：

为解决上述问题，本发明采用以下技术方案：

基于辅助边缘的图像超分辨率方法，该方法包括如下步骤：

S1.选择公开图像数据集作为真值，以双线性插值算法对高分辨率图像下采样得到对应的低分辨率图像；

S2.根据步骤S1中得到的高分辨率图像，利用边缘提取算法计算对应的边缘图像；

S3.随机选择步骤S1中低分辨率图像H×W的区域进行裁剪，在对应高分辨率图像和步骤S2中的边缘图像上裁剪sH×sW大小的图像块，其中s表示缩放因子；

S4.将步骤S3中裁剪得到的低分辨率图像块和高分辨率图像块、边缘图像块对应，得到训练数据集；

S5.图像重建子网络从低分辨率图像块中提取特征,重建初始高分辨率图像SR；

S6.设计边缘重建子网络

6.1：设计边缘重建模块

边缘重建模块由多个标准卷积层、反卷积层串联组成。每个标准卷积后紧接一个Relu激活函数，用于提升网络的非线性拟合能力。反卷积层的数量N根据缩放因子动态决定，计算公式为：

6.2:设计边缘处理模块