[发明专利]基于自注意力机制的图像超分辨率重建方法、设备及介质

说明书

本申请公开了基于自注意力机制的图像超分辨率重建方法、设备及介质，其中，方法包括：获取训练收敛的图像重建模型；采集待重建的第一分辨率图像，将第一分辨率图像输入至图像重建模型，以对第一分辨率图像进行特征提取，得到浅层特征提取网络中各残差单元对应输出的浅层特征图和深层特征提取网络输出的深层特征图；将各残差单元对应输出的浅层特征图，通过跳跃连接与深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；生成全局残差图像；对第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将输出图像与全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像。

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于自注意力机制的图像超分辨率重建方法、设备及介质。

背景技术

目前，视频监控被广泛应用于城市管理系统中，即通过安装在指定区域的摄像头来实现全天候监控城市秩序的目的。在城市建设中，为了减少成本，提高对城市资源的利用率，通常情况下会将视频监控的覆盖面积尽可能扩大，但是受监控距离、天气、光线等因素的影响，摄像头拍摄得到的图像整体质量会随之受到一定程度的影响，进而影响人类的视觉感知和计算机的分析，在此情况下，通常需要增大图像的分辨率后再对图像进行分析。

然而，现有的图像分辨率增大方法只是简单放大了图像的尺寸，并没有增加图像的分辨率，导致图像细节信息存在一定的丢失，在一定程度上影响了对图像内容的辨识。

发明内容

为了解决上述问题，本申请提出了一种基于自注意力机制的图像超分辨率重建方法，包括：

获取训练收敛的图像重建模型，其中，所述图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络；

采集待重建的第一分辨率图像，将所述第一分辨率图像输入至所述图像重建模型，以对所述第一分辨率图像进行特征提取，得到所述浅层特征提取网络中各残差单元对应输出的浅层特征图和所述深层特征提取网络输出的深层特征图；

将所述各残差单元对应输出的浅层特征图，通过跳跃连接与所述深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；

通过所述重建网络对所述融合特征图进行上采样，以生成全局残差图像；

对所述第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，所述第二分辨率图像对应的图像分辨率大于所述第一分辨率图像对应的图像分辨率。

在本申请的一种实现方式中，将所述第一分辨率图像输入至所述图像重建模型，具体包括：

将所述第一分辨率图像由RGB色彩空间转换为YUV色彩空间，得到转换后的第一分辨率图像；

对所述转换后的第一分辨率图像进行色彩通道分离，以获得所述转换后的第一分辨率图像所对应的Y通道图像；

将所述Y通道图像输入至所述图像重建模型。

在本申请的一种实现方式中，对所述第一分辨率图像进行特征提取，得到所述浅层特征提取网络中各残差单元分别输出的浅层特征图和所述深层特征提取网络输出的深层特征图，具体包括：

通过所述浅层提取网络中级联的多个第一卷积层，对所述第一分辨率图像进行卷积，得到所述浅层特征提取网络中最后一个残差单元输出的浅层特征图；

将所述最后一个残差单元输出的浅层特征图输入至所述深层特征提取网络，通过所述深层特征提取网络中并联的多个第二卷积层，分别对所述最后一个残差单元输出的浅层特征图进行卷积，得到所述多个第二卷积层分别输出的第一特征图、第二特征图和第三特征图；