[发明专利]基于卷积神经网络的移动端轻量级图像超分辨率重建方法

说明书

本发明公开了一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法，包括如下步骤，首先，得到训练数据集。然后，构建适用于移动端的轻量级图像超分辨率网络，包括训练时和推理时网络，推理时网络由训练时网络使用等价转化的方法转化而来。等价转化的方法将在移动端耗时的算子替换为耗时较少的卷积。在训练时，使用上述训练数据集以及构建的轻量级超分辨率网络，比较数据集中的原始图片与生成的高分辨率图片的损失，基于损失进行反向传播计算，直至训练结束。在推理时，使用等价转化的更简洁的网络，模型体积小，输出的速率快。本发明的优点是：基于移动端的场景进行了优化和适配，使用等价转化的方法构建一个简洁，效率高的超分辨率网络。

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种仅依靠卷积神经网络且基于等价转化技术的移动端轻量级图像超分辨率重建方法。

背景技术

图像和视频超分辨率将低清晰度转化为高清晰度，在许多领域都有着广泛的应用，包括医学影像，卫星图像，医学影像等等。例如，某公司使用了基于深度学习的视频超分辨率技术将标清电视(SDTV)提升为高清电视(HDTV)。近年来，随着移动端设备的普及和性能的提升，将现有的图像超分辨率模型进行优化并部署到移动端有非常重要的意义。

图像超分辨率模型分为传统的超分辨率模型，基于插值如双线性插值，双三次插值，实现简单但是效果不佳，基于深度学习的超分辨率模型比较复杂，需要大量的成本和计算资源，超分辨率效果较好。然而，现有的超分辨率模型很少针对于终端设备的硬件进行相关的优化和适配。

卷积神经网络(Convolutional Neural Networks,CNN)一般是由卷积层，池化层以及全连接层组成，可以提取图片特征，将大量参数降维为少量参数。目前，卷积神经网络在图像超分辨率领域有出色的效果。近几年也出现了越来越复杂的卷积网络用于图像超分辨率，(即卷积层数更深更多)伴随着越来越出色的性能。例如，Lim等提出的Multi-scaleDeep Super Resolution(MDSR)(Enhanced Deep Residual Networks for Single ImageSuper-Resolution.2017IEEE Conference on Computer Vision and PatternRecognition Workshops(CVPRW))有160层卷积网络，而最开始提出的Dong等提出的SuperResolution Convolutional Neural Network(SRCNN)(Image Super-Resolution UsingDeep Convolutional Networks.IEEE Transactions on Pattern Analysis and MachineIntelligence,38(2),295–307.

https://doi.org/10.1109/TPAMI.2015.2439281)只有3层卷积网络。其存在的缺陷：

1、大多数基于深度学习的图像超分辨率具有很好的图像恢复的准确度，但是模型训练和预测的复杂度，存储和时间耗费都很高。例如，SwinIR模型基于Swin Transformer(SwinIR:Image Restoration Using Swin Transformer.2021IEEE/CVF InternationalConference on Computer Vision Workshops(ICCVW),1833–1844.https://doi.org/10.1109/ICCVW54120.2021.00210)有较好的图像超分辨率效果，但模型有约12M的参数量，不适用于移动端的情形。

2、一些比较小的卷积神经网络超分辨率网络能够在移动端设备实现接近实时的速度，但以PSNR度量的超分辨率准确度比较有限。