[发明专利]低分辨率图像的处理方法、电子设备及计算机程序产品

说明书

本发明提供了一种低分辨率图像的处理方法、电子设备及计算机程序产品，该方法包括：获取待处理视频帧序列对应的参考特征图和初始特征图集；根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；对对齐特征图集及参考特征图进行融合处理，得到融合特征图；对融合特征图进行重建，得到目标图像。本发明通过参考特征图对初始特征图进行对齐处理，并基于对齐后的对齐特征图进行图像融合和重建，有效去除初始特征图中的噪声，提升对齐的效果，进而提升根据参考特征图和对齐特征图确定的目标图像的稳定性和图像精度。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种低分辨率图像的处理方法、电子设备及计算机程序产品。

背景技术

超分辨率是一个被广泛研究的问题，其任务是在给定低分辨率图像的情况下生成对应的高分辨率图像，根据低分辨率图像输入的形式，超分辨率可分为单帧图像超分辨率和多帧图像超分辨率两类。

多帧超分辨率是利用多帧低分辨率图像重建原始的高清图像。低分辨率图像通常是由手持智能手机在多帧模式下拍摄的，在多帧模式下，不同图像帧会因手机摄像头晃动或光线变化而发生变化，因此多帧的低分辨率图像的质量往往较低，并且有很大噪声，另外多帧图像之间的抖动很大，由于图像质量差因此很难使用传统的方法进行对齐。

现有技术中通过使用可变形卷积来隐式地估计视频帧运动场，即采用多级分辨率可变形卷积模块来解决多帧图像的对齐问题，然而其对齐的过程中没有考虑噪声的影响，对齐的效果很不稳定，导致最终超分的结果精度较低。

发明内容

有鉴于此，本发明的目的在于提供一种低分辨率图像的处理方法、电子设备及计算机程序产品，以提高通过多帧低分辨率图像得到的高分辨率图像的精度。

第一方面，本发明实施例提供一种低分辨率图像的处理方法，该方法包括：获取待处理视频帧序列对应的参考特征图和初始特征图集；其中，参考特征图为待处理视频帧序列中的参考视频帧对应的特征图，初始特征图集中的每个初始特征图为待处理视频帧序列中除了参考视频帧以外的视频帧对应的特征图；根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集；其中，对齐特征图集中的每个对齐特征图对应一个初始特征图，且该对齐特征图与参考特征图的相似度大于该初始特征图与参考特征图的相似度；对对齐特征图集及参考特征图进行融合处理，得到融合特征图；对融合特征图进行重建，得到目标图像；其中，目标图像的分辨率高于待处理视频帧中所有视频帧的分辨率。

进一步地，上述根据参考特征图对初始特征图集中的每个初始特征图进行对齐处理，得到初始特征图集对应的对齐特征图集的步骤，包括：对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征；对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；根据当前的初始特征图、第一上采样特征以及第二上采样特征，确定该初始特征图对应的对齐特征图；统计所有的初始特征图对应的对齐特征图，生成对齐特征图集。

进一步地，上述对参考特征图分别进行下采样处理和上采样处理，得到参考特征图对应的第一上采样特征的步骤，包括：对参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；对尺寸最小的第一中间特征进行第一预设次数的上采样，得到第一上采样特征；上述对初始特征图集中的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征的步骤，包括：对初始特征图集中的初始特征图进行第一预设次数的下采样，得到第一预设次数个第二中间特征；对尺寸最小的第二中间特征进行第一预设次数的上采样，得到第二上采样特征。