[发明专利]用于生成超分辨率图像的方法、装置和计算机程序产品

权利要求书

1.一种方法，包括：

基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与所述场景相关联的初始超分辨率图像，所述场景包括至少一个移动对象；

对所述参考图像进行上采样以生成上采样参考图像；

基于所述初始超分辨率图像和所述上采样参考图像来生成运动掩模图像，所述运动掩模图像表示与所述场景相关联的所述至少一个移动对象的运动；以及

基于所述运动掩模图像来生成所述场景的合成图像，所述合成图像包括描绘所述至少一个移动对象的至少一个部分。

2.根据权利要求1所述的方法，其中所述初始超分辨率图像基于全局超分辨率重构算法而被生成。

3.根据权利要求1所述的方法，其中所述上采样参考图像通过使用三次插值算法对所述参考图像进行插值而被生成。

4.根据权利要求1、2或3中的任一项所述的方法，其中生成所述运动掩模图像包括：

将所述初始超分辨率图像与所述上采样参考图像相比较以生成差值图像；

向所述差值图像应用低通滤波以生成中间图像；以及

基于所述中间图像的多个区域与阈值的值的比较来生成所述运动掩模图像。

5.根据权利要求1到4中的任一项所述的方法，其中生成所述合成图像包括：

基于所述运动掩模图像来从所述上采样参考图像中获取描绘所述至少一个移动对象的所述合成图像的所述至少一个部分；以及

基于所述运动掩模图像来从所述初始超分辨率图像中获取所述合成图像的至少一个剩余部分，所述至少一个剩余部分指示所述场景的静态对象。

6.根据权利要求1到5所述的方法，还包括基于以下等式来融合所述初始超分辨率图像和所述上采样参考图像：

Z′＝MZ+(1-M)Z_cubic

其中，

Z’是所述合成图像，

Z是所述初始超分辨率图像，

Z_cubic是所述上采样参考图像，以及

M是所述运动掩模图像。

7.根据权利要求5所述的方法，还包括调整所述合成图像以生成所述场景的超分辨率图像，所述超分辨率图像基于以下等式而被生成：

其中，

A’是用于向与所述至少一个移动对象相关联的像素分配最大权重的对角加权矩阵。

8.根据权利要求6所述的方法，其中基于以下等式来确定所述对角加权矩阵A’：

A′=MA+(1-M)DiagN-1]]>

其中，

A是指示所述参考图像的多个像素对于所述合成图像的贡献的初始对角加权矩阵。

9.根据权利要求1到8所述的方法，其中生成所述合成图像包括：

基于所述运动掩模图像来从所述初始超分辨率图像中获取所述合成图像的至少一个另外的部分；以及

基于所述运动掩模图像来从运动补偿超分辨率图像中获取所述合成图像的至少一个剩余部分，所述至少一个剩余部分指示所述场景的静态对象。

10.一种装置，包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行：

基于场景的多个图像中的参考图像以及剩余的一个或多个图像来生成与所述场景相关联的初始超分辨率图像，所述场景包括至少一个移动对象；

对所述参考图像进行上采样以生成上采样参考图像；

基于所述初始超分辨率图像和所述上采样参考图像来生成运动掩模图像，所述运动掩模图像表示与所述场景相关联的所述至少一个移动对象的运动；以及

基于所述运动掩模图像来生成所述场景的合成图像，所述合成图像包括描绘所述至少一个移动对象的至少一个部分。