[发明专利]一种极轻量级图像超分辨率重建方法

说明书

本申请涉及图像恢复技术，属于深度学习领域，具体涉及一种极轻量级图像超分辨率重建方法，该方法所使用的图像超分网络模型按顺序包含：单通道输入的浅层特征提取模块、由多个ACRB模块串联组成的深层特征提取模块、对深度特征进行像素注意力加权的注意力增强模块、将浅层特征和深层特征进行融合的特征融合模块、以及带有ClipRelu约束异常值的上采样放大模块。本方法通过超分重建时图像的RGB通道和Y通道的转换，可以在移动端很方便地并行处理，使得整个超分方法节省并有效利用移动端有限的计算资源，并且还能够保持有高质量的超分效果。

技术领域

本发明涉及图像恢复技术，尤其涉及一种极轻量级图像超分辨率重建方法。

背景技术

超分辨率是指将低分辨率的图像通过软硬件方法重建出高分辨率的图像，能够加强图像细节纹理，使得图像更加清晰，提升观看体验。图像超分辨率技术在视频直播、视频监控、视频传输复原、显微成像、医学影像等许多领域有着重要的应用价值。

当前图像超分辨率的主流方法是利用大量的高清图像和低质图像数据对的先验知识，基于深度学习技术进行低质图像的高频信息的复原。业界主流基于深度学习的超分辨率模型参数量在几百K上下，计算量(FLOPs)几十G到上千G大小，受计算资源限制，360P(360X640)的输入图像在普通的GPU上放大2倍都很难做到30帧每秒的实时超分，而减少模型计算量会使得模型性能下降。因此，在计算资源更为紧张的移动端上实现高质量的实时超分是一个巨大的挑战。

发明内容

针对移动端有限的计算资源，需要平衡超分辨率重建质量和重建效率，本发明目的在于提供一种基于非对称卷积残差块的极轻量级超分辨率重建方法，利用非对称卷积的计算优势和多尺度特征融合的残差块结构，有效节省计算量和保持较高的重建质量，能够达到在移动端实时处理高质量图像超分辨率任务的需求。

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

根据本发明的一方面，提供了一种极轻量级图像超分辨率重建网络，包括：

步骤1、对原始高清图像数据和其对应的低分辨率图像数据进行预处理，然后将RGB图像转换为YCbCr图像，并且提取原始高清图像的Y通道数据；

步骤2、构建基于非对称卷积残差块的图像超分网络模型；

步骤3、使用步骤1的Y通道数据训练步骤2构建好的网络模型，迭代至损失函数收敛；

步骤4、将待重建图像由RGB图像转换为YCbCr图像，并提取Y通道数据，同时将待重建图像插值放大后提取其Cr和Cb通道数据；

步骤5、将步骤4得到的Y通道数据的输入训练好的模型进行预测，得到放大后的Y通道；

步骤6、在步骤4得到的Cr和Cb通道和步骤5得到的Y通道进行合并得到YCbCr图像；

步骤7、将合并后YCbCr图像转换成RGB图像，得到重建后的高清图像。

在一实施例中，所述基于非对称卷积残差块的图像超分网络模型，包括：

浅层特征提取模块；

深层特征提取模块，其输入为所述浅层特征提取模块的输出；

注意力增强模块，其输入为所述深层特征提取模块的输出；

特征融合模块，其输入为所述注意力增强模块的输出；

上采样放大模块，其输入为所述特征融合模块的输出。

在一实施例中，所述浅层特征提取模块为一个单通道输入的3x3的卷积。