[发明专利]用于生成超分辨率图像的方法、装置和计算机程序产品

说明书

技术领域

各种实施例总体上涉及用于生成超分辨率图像的方法、装置和计算机程序产品。

背景技术

诸如相机、移动电话和其他设备等各种电子设备被广泛地用于捕获诸如场景的图像和/或视频等媒体内容。为了捕获高分辨率媒体内容，可以相对于参考图像/帧配准媒体内容的图像/帧，以便生成超分辨率图像。超分辨率图像可以通过被称为多帧图像超分辨率的技术来生成。在多帧图像超分辨率技术中，可以在不同的条件下获取相同场景的若干噪声低分辨率图像，并且将这些图像一起处理，从而生成一个或多个高质量超分辨率图像。这种超分辨率图像可以用于诸如卫星地形图像、医学图像、监视应用等众多应用中。

与用于生成超分辨率图像的任何原始图像相比，超分辨率图像可以与更高的空间频率以及更少的噪声和图像模糊相关联。然而，如果场景包括移动对象(或运动中的对象)，则场景的超分辨率图像可以包括运动伪像。这可能归因于以下事实：跨图像/帧的配准仅处理全局运动，而不是与场景相关联的局部运动。在一些情况下，也可以应用用于处理局部运动的技术，然而这种技术耗时并且是计算密集型的。

发明内容

各种一个示例实施例在权利要求中阐述。

在第一实施例中，提供了一种方法，其包括：基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与场景相关联的初始超分辨率图像，场景包括至少一个移动对象；对参考图像进行上采样以生成上采样参考图像；基于超分辨率图像和上采样参考图像来生成运动掩模图像，运动掩模图像表示与场景相关联的至少一个移动对象的运动；以及基于运动掩模图像来生成场景的合成图像，该合成图像包括描绘至少一个移动对象的至少一个部分。

在第二实施例中，提供了一种装置，其包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使上述装置至少执行：基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与场景相关联的初始超分辨率图像，场景包括至少一个移动对象；对参考图像进行上采样以生成上采样参考图像；基于超分辨率图像和上采样参考图像来生成运动掩模图像，运动掩模图像表示与场景相关联的至少一个移动对象的运动；以及基于运动掩模图像来生成场景的合成图像，该合成图像包括描绘至少一个移动对象的至少一个部分。

在第三实施例中，提供了一种包括至少一个计算机可读存储介质的计算机程序产品，计算机可读存储介质包括指令组，该指令组在由一个或多个处理器执行时使装置至少执行：基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与场景相关联的初始超分辨率图像，场景包括至少一个移动对象；对参考图像进行上采样以生成上采样参考图像；基于超分辨率图像和上采样参考图像来生成运动掩模图像，运动掩模图像表示与场景相关联的至少一个移动对象的运动；以及基于运动掩模图像来生成场景的合成图像，该合成图像包括描绘至少一个移动对象的至少一个部分。

在第四实施例中，提供了一种装置，其包括：用于基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与场景相关联的初始超分辨率图像的装置，场景包括至少一个移动对象；用于对参考图像进行上采样以生成上采样参考图像的装置；用于基于超分辨率图像和上采样参考图像来生成运动掩模图像的装置，运动掩模图像表示与场景相关联的至少一个移动对象的运动；以及用于基于运动掩模图像来生成场景的合成图像的装置，该合成图像包括描绘至少一个移动对象的至少一个部分。

在第五实施例中，提供了一种包括程序指令的计算机程序，程序指令在由装置执行时引起装置：基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与场景相关联的初始超分辨率图像，场景包括至少一个移动对象；对参考图像进行上采样以生成上采样参考图像；基于超分辨率图像和上采样参考图像来生成运动掩模图像，运动掩模图像表示与场景相关联的至少一个移动对象的运动；以及基于运动掩模图像来生成场景的合成图像，该合成图像包括描绘至少一个移动对象的至少一个部分。

附图说明

在附图的图中通过示例而非限制的方式示出了各种实施例，在附图中：

图1示出了根据一个示例实施例的设备；

图2示出了根据一个示例实施例的用于生成超分辨率图像的装置；

图3A-3D表示根据一个示例实施例的用于生成与场景相关联的超分辨率图像的示例步骤；

图4是描绘根据一个示例实施例的用于生成超分辨率图像的示例方法的流程图；以及