[发明专利]图像超分辨率重建方法、模型蒸馏方法、装置及存储介质

说明书

本公开实施例提供一种图像超分辨率重建方法、模型蒸馏方法、装置及计算机可读存储介质，所述图像超分辨率重建方法包括对输入的时间上连续的至少三帧原始图像进行特征提取，得到至少三个待处理图像，每一个待处理图像对应一帧原始图像；以所述至少三个待处理图像中的一个图像作为参考图像，采用基于深度学习的对齐处理网络将所述待处理图像与所述参考图像进行数据对齐，输出多个对齐帧；采用基于深度学习的融合处理网络对所述多个对齐帧进行数据融合；采用基于深度学习的重建处理网络对数据融合后的图像进行向上采样以实现图像超分辨率重建。采用本公开实施例方法可以最大程度上利用帧间信息得到较好的输出效果。

技术领域

本公开实施例涉及图像处理技术领域，具体涉及一种图像超分辨率重建方法、模型蒸馏方法、装置及计算机可读存储介质。

背景技术

图像超分辨率(Super-Resolution)是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。

发明内容

本公开实施例提供一种超分辨率重建方法、模型蒸馏方法、装置及计算机可读存储介质，重建效果好。

一方面，本公开实施例提供了一种图像超分辨率重建方法，包括：

对输入的时间上连续的至少三帧原始图像进行特征提取，得到至少三个待处理图像，每一个待处理图像对应一帧原始图像；

以所述至少三个待处理图像中的一个图像作为参考图像，采用基于深度学习的对齐处理网络将所述待处理图像与所述参考图像进行数据对齐，输出多个对齐帧；

采用基于深度学习的融合处理网络对所述多个对齐帧进行数据融合；

采用基于深度学习的重建处理网络对数据融合后的图像进行向上采样以实现图像超分辨率重建。

另一方面，本公开实施例提供了一种模型蒸馏方法，包括，采用前述图像超分辨率重建方法获得超分辨率重建后的重建图像，采用教师模型得到预测图像，计算所述重建图像与预测图像的损失函数，当损失函数符合预设损失函数要求时，模型蒸馏完成。

另一方面，本公开实施例还提供了一种图像处理装置，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现上述图像超分辨率重建方法或模型蒸馏方法的步骤。

再一方面，本公开实施例还提供了一种计算机可读存储介质，存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时用于实现上述图像超分辨率重建方法或模型蒸馏方法。

本公开提出的基于多帧信息对齐的超分辨率重建方法，对输入的连续三帧信息，分别进行数据对齐，将对齐后的信息进行数据融合，最后通过重建处理网络实现超分辨率重建，采用本公开实施例方法可以最大程度上利用帧间信息得到较好的输出效果，网络参数少，结构简单，运行效率高，网络设计能够同时满足超分辨率重建效果与运行效率。

当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本公开内容。

图1为本公开实施例图像超分辨率重建方法流程图；

图2为本公开实施例预处理网络结构示意图；

图3为本公开实施例对齐处理网络结构示意图；