[发明专利]图像超分辨率重建方法、装置以及计算机可读存储介质

说明书

本发明提供了一种图像超分辨率重建方法以及装置，所述方法包括，S10:获取RGB三通道LR图像；S20:将RGB三通道LR图像通过第一卷积层以获得图像浅层特征图；S30:将图像浅层特征图输入到残差模块以得到残差特征图；S40:将残差特征图输入到位置注意力模块以获取融合后的特征图；S50:将融合后的特征图输入到上采样模块中以获得重建图像。所述装置包括：图像获取模块，用于获取RGB三通道LR图像；第一卷积层模块，用于将RGB三通道LR图像卷积以得到图像浅层特征图；残差模块，用于将图像浅层特征图调整为残差特征图；位置注意力模块，用于利用图像所有位置处的特征的加权和来选择性的聚合每个位置处的特征；上采样模块，用于将融合后的特征图进行上采样获得重建图像。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置以及计算机可读存储介质。

背景技术

图像超分辨率重建是由单帧或多帧低分辨率(Low Resolution，LR)图像重构具有良好视觉效果和更加接近真实图像的高分辨率(High Resolution，HR)图像或序列的技术。目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。其中，基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。

近年来，深度学习技术在图像处理领域取得了巨大成功，与其它传统的基于学习的方法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性。因此，越来越多的学者将深度学习应用到图像超分辨率重建研究中。但该类方法普遍存在以下三个缺陷：(1)有些方法必须先根据模型所需的图像尺寸大小，对LR图像进行上采样插值后再输入到模型进行训练，这不但会丢失和更改原图像细节信息，还极大地增加了计算量，例如VDSR风格的超分辨率重建方法架构；(2)卷积神经网络模型的重构性能对结构的微小变化很敏感，简单地增加模型层数量，会导致模型存在过拟合和消失梯度问题；(3)对于基于通道注意力机制的卷积神经网络图像超分辨率重建方法，该类方法通过整合所有通道映射中的相关性特征，来选择性的来强调不同通道之间的相互依赖的性，例如方法RCAN。该类方法虽然能建立不同特征图的上下文依赖关系，但却忽略了利用图像全局所有位置对象在空间维度的相互依赖性，而图像全局所有位置对象在空间维度的相互依赖性对图像超分辨率重建有着非常重要的作用。因此需要一种能够提高重建图像的质量的图像超分辨率重建方法。

发明内容

本发明提供了一种图像超分辨率重建方法、装置以及计算机可读存储介质，旨在解决背景技术中提及的技术问题。

本发明首先提供了一种图像超分辨率重建方法，所述方法包括以下步骤：

S10:获取RGB三通道LR图像；

S20:将所述RGB三通道LR图像通过第一卷积层，以获得图像浅层特征图；

S30:将所述图像浅层特征图输入到残差模块，以得到残差特征图；

S40:将所述残差特征图输入到位置注意力模块，以获取融合后的特征图，所述步骤S40具体包括：

S40a：将所述残差特征图通过第二卷积层，以获得初始特征图，

S40b：将所述初始特征图分三支路分别输入第三卷积层，获得第一支路特征图、第二支路特征图和第三支路特征图，其中所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均为C×H×W，C为特征图通道数量，H为特征图高度，W为特征图宽度；

S40c：将所述第一支路特征图、所述第二支路特征图和所述第三支路特征图的特征维度均调整为C×N，并将所述第一支路特征图进行转置以使其特征维度为N×C，其中N＝H×W；