[发明专利]低分辨率图像的处理方法、电子设备及计算机程序产品

权利要求书

1.一种低分辨率图像的处理方法，其特征在于，所述方法包括：

获取待处理视频帧序列对应的参考特征图和初始特征图集；其中，所述参考特征图为所述待处理视频帧序列中的参考视频帧对应的特征图，所述初始特征图集中的每个初始特征图为所述待处理视频帧序列中除了所述参考视频帧以外的视频帧对应的特征图；

根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集；其中，所述对齐特征图集中的每个对齐特征图对应一个所述初始特征图，且该对齐特征图与所述参考特征图的相似度大于该初始特征图与所述参考特征图的相似度；

对所述对齐特征图集及所述参考特征图进行融合处理，得到融合特征图；

对所述融合特征图进行重建，得到目标图像；其中，所述目标图像的分辨率高于所述待处理视频帧中所有视频帧的分辨率。

2.根据权利要求1所述的方法，其特征在于，根据所述参考特征图对所述初始特征图集中的每个所述初始特征图进行对齐处理，得到所述初始特征图集对应的对齐特征图集的步骤，包括：

对所述参考特征图分别进行下采样处理和上采样处理，得到所述参考特征图对应的第一上采样特征；

对当前的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征；

根据所述当前的初始特征图、所述第一上采样特征以及所述第二上采样特征，确定该初始特征图对应的对齐特征图；

统计所有的所述初始特征图对应的对齐特征图，生成对齐特征图集。

3.根据权利要求2所述的方法，其特征在于，对所述参考特征图分别进行下采样处理和上采样处理，得到所述参考特征图对应的第一上采样特征的步骤，包括：

对所述参考特征图进行第一预设次数的下采样，得到第一预设次数个第一中间特征；

对尺寸最小的第一中间特征进行所述第一预设次数的上采样，得到第一上采样特征；

对所述初始特征图集中的初始特征图分别进行下采样处理和上采样处理，得到该初始特征图对应的第二上采样特征的步骤，包括：

对所述初始特征图集中的初始特征图进行所述第一预设次数的下采样，得到第一预设次数个第二中间特征；

对尺寸最小的第二中间特征进行所述第一预设次数的上采样，得到第二上采样特征。

4.根据权利要求3所述的方法，其特征在于，对尺寸最小的第二中间特征进行所述第一预设次数的上采样，得到第二上采样特征的步骤，包括：

将上一次上采样的输出特征以及与该输出特征大小相同的所述第二中间特征组合，得到第一组合特征；其中，第一次上采样的输入为尺寸最小的第二中间特征；最后一次上采样对应的第一组合特征为最后一次上采样的输出特征与所述初始特征图的组合；

判断是否已经进行了所述第一预设次数的上采样，如果是，将所述第一组合特征确定为第二上采样特征；

否则，将所述第一组合特征作为当前上采样的输入，对所述第一组合特征继续进行所述上采样操作。

5.根据权利要求2所述的方法，其特征在于，根据所述初始特征图、所述第一上采样特征以及所述第二上采样特征，确定该初始特征图对应的对齐特征图的步骤，包括：

根据每个所述第二中间特征和与该第一中间特征大小相同的所述第一中间特征，确定该第二中间特征对应的偏移量；

根据所述第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征；

根据所述初始对齐特征确定对齐特征图。

6.根据权利要求5所述的方法，其特征在于，根据所述第二中间特征及该第二中间特征对应的偏移量确定该第二中间特征对应的初始对齐特征的步骤，包括：

对所述第二中间特征和该第二中间特征对应的偏移量进行第一卷积操作，得到该第二中间特征对应的第一卷积特征；

根据所述第一卷积特征确定该第二中间特征对应的初始对齐特征。