[发明专利]图像超分辨率方法、装置、设备及计算机可读存储介质

说明书

本公开提供了一种图像超分辨率方法、装置、设备及计算机可读存储介质，用于解决对图像进行超分辨率处理的质量和效率较低的技术问题。本公开提供了一种基于深度学习的图像超分辨率装置，网络结构采用全卷积结构，可以输入任意大小的彩色图像，在人脸识别、目标检测等任务在小目标上提供了新的解决思路。本公开无需对输入图像进行额外的预处理，且泛化能力更好。比现有的RCAN模型增加了特征图的注意力机制，在通道间注意力机制中增加了自适应最大池化的特征提取，增加了对输入图像直接上采样作为输出图像的基础，降低模型的学习难度。

技术领域

本公开涉及人工智能及计算机图像处理技术领域，尤其涉及一种图像超分辨率方法、装置、设备及计算机可读存储介质。

背景技术

图像超分辨技术/图像超分辨率(Image Super Resolution)是将一幅低分辨率图像或图像序列恢复出高分辨率图像的技术。高分辨率图像能够给描述的事物提供更多的细节，而这些细节在许多实际应用中都是不可或缺的。图像超分辨率一直是计算机视觉领域最具有挑战性的任务之一。图像超分辨率在工业界也有广泛的应用，如图像压缩、医疗成像、遥感成像、公共安防等领域。

目前在图像超分辨领域，开源的基于深度学习的图像超分辨率模型RCAN(Residual Channel Attention Networks，残差通道注意力网络)效果较好。但该模型需要对输入图像进行较多的额外的预处理，泛化能力不太好，模型训练的难度较大。

发明内容

本公开提供一种像超分辨率方法、装置、设备及计算机可读存储介质，用于解决对图像进行超分辨率处理的质量和效率较低的技术问题。

基于本公开实施例的一方面，本公开提供了一种图像超分辨率装置，该装置包括：输入模块、第一卷积模块、K个串联的残差组模块、放大组模块、上采样模块及输出模块，所述残差组模块包括k个残差特征注意力模块和至少一个第二卷积模块，所述放大组模块包括多个卷积模块和N/2个像素重组模块，在输入模块、卷积模块、残差组模块中，每一个卷积层后都有一个激活层相连；

输入模块，用于对输入的图像进行预处理得到输入图像的特征向量；

第一卷积模块，用于对输入模块输出的特征向量进行特征扩增；

残差组模块，用于对第一卷积模块输出的特征向量进行图像特征提取，所提取的图像特征包括图像的通道内特征和通道间特征；

放大组模块，用于对残差组模块输出的特征向量进行特征提取后对图像特征尺寸进行放大，再压缩为3通道的特性向量；

上采样模块，用于对输入模块输出的特征向量直接进行线性插值，上采样模块输出的特征向量与放大组模块输出的特征向量相加后作为输出模块的输入；

输出模块，用于输出图像分辨率扩大N倍的图像；

所述残差特征注意力模块包括：特征注意力模块和至少一个卷积模块；

卷积模块，用于对特征进行提取；

特征注意力模块，用于通过通道间注意力机制和通道内注意力机制对图像特征的重要性进行选择分配，增强针对图像特征的提取能力；所述特征注意力模块输出的特征向量与该残差特征注意力模块的输入特征向量相加后作为该残差特征注意力模块的输出特征向量；

其中，k和K为正整数，N为模型的图像放大倍数。

进一步地，所述特征注意力模块包括：

同一通道平均值模块，用于对输入的特征向量的每一通道的所有元素值分别求和后取平均，分别得到每一个通道的通道内平均值特征向量；

同一通道最大值模块，用于获取输入的特征向量的每一通道的最大元素值，得到每一个通道的通道内最大值特征向量；