[发明专利]一种基于深度卷积生成对抗网络的视频超分辨率生成方法

说明书

本发明公开了一种基于深度卷积生成对抗网络的视频超分辨率生成方法。其中，该方法包括：获取目标视频，将同一场景的视频片段进行转换成连续的图像序列信息作为原图组以PNG格式保存；将所述原图组进行采样缩放，获取缩小的低分辨率图像，进行运动补偿处理，获得补偿后的低分辨率图像；构建深度卷积生成对抗网络模型，将所述补偿后的低分辨率图像输入进行计算，输出重建后的高分辨率图像后再进行放大处理，获得超分辨率图像；将所述超分辨率图像，按照所述目标视频进行重新组合，获得超分辨率目标视频。实施本发明实施例，能够有效地提高低分辨率视频的重建质量，快速生成纹理细节更加丰富、效果更加自然真实的图像。

技术领域

本发明涉及计算机视觉与机器学习技术领域，具体涉及一种基于深度卷积生成对抗网络的视频超分辨率生成方法。

背景技术

近些年，随着大量高清播放设备的涌现，如何将低分辨视频转换为更适宜播放的高分辨率视频，即超分辨率技术，逐渐成为计算机视觉领域的热点研究问题。事实上，4K电视的普及并不代表我们真正进入了4K时代，一个很重要的原因是没有那么多的4K片源。在视频监控领域,我们也需要高分辨率图像来识别出人们感兴趣的目标。在图像遥感领域，高分辨率图像能够提高卫星对目标的精度。与此同时，它在军事、医学成像等领域也有很广泛的应用前景，它己成为图像处理领域最热门的研究内容之一。

目前视频超分辨率方法可以分为两大类：(1)单帧图像超分辨率方法，该方法假设图像之间是独立的，对视频帧中的每一张图像单独处理，最后再合成整个视频，但这些方法忽视了视频帧之间的时间依赖性。(2)多帧超分辨率方法，这种方法充分考虑了视频帧之间的时间依赖性，例如传统方法中使用光流技术对视频帧进行运动估计，但使用这些方法建模增加了很多计算成本，在很大程度上限制了视频超分辨率的发展。

现有的视频超分辨率方法中，双向循环卷积网络的网络结构可以解决视频序列的时间依赖性的问题。该网络包含两个子网络，前向子网络和后向子网络，每个子网络结构可以简单的看成3层，输入层，输入低分辨率图像，隐藏层，输出层，重建得到高分辨率图像，其中输入层与隐藏层之间使用3D前馈卷积，而隐藏层之间使用循环卷积。单向循环卷积网络只能利用前面帧的信息，而不能利用后面帧的信息，对于视频处理任务来说是远远不够的。当前帧放大的结果不仅跟前面的视频帧有关，也跟后面的视频帧有关，所以使用双向循环结构也更充分的利用了视频帧之间的依赖性。该网络的结构只有4层，应该考虑扩展网络模型，建立更深层次的架构，但是随着网络模型的增加时间消耗也大，所以需要平衡图像重建的效果和时间消耗。此外可以考虑使用更高分辨率的视频来训练，从而更好的学习网络模型。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于深度卷积生成对抗网络的视频超分辨率生成方法。为解决在加快运行处理速度的同时，也保证了视频超分辨率的处理效果的问题。

为了解决上述问题，本发明提出了一种基于深度卷积生成对抗网络的视频超分辨率生成方法，所述方法包括：

获取目标视频，将同一场景的视频片段进行转换成连续的图像序列信息作为原图组以PNG格式保存；

将所述原图组进行采样缩放，获取缩小的低分辨率图像，进行运动补偿处理，获得补偿后的低分辨率图像；

构建深度卷积生成对抗网络模型，将所述补偿后的低分辨率图像输入进行计算，输出重建后的高分辨率图像后再进行放大处理，获得超分辨率图像；

将所述超分辨率图像，按照所述目标视频进行重新组合，获得超分辨率目标视频。

优选地，所述的原图组以像素100*100的大小进行保存。

优选地，所述进行运动补偿处理的具体步骤为对两帧缩小的低分辨率图像进行运动估计，以第一帧缩小的低分辨率图像为基准，利用运动估计参数对第二帧缩小的低分辨率图像进行运动转换，完成两帧缩小的低分辨率图像之间的运动补偿。其中，运动估计参数则采用最速度梯度下降算法对其进行迭代求解，从而获得最优运动估计参数。