[发明专利]视频修复方法及装置、电子设备和存储介质

说明书

本公开涉及一种视频修复方法及装置、电子设备和存储介质，所述方法包括：获取连续的多帧图像中各相邻图像之间的第一正向光流和第一反向光流；分别对所述第一正向光流和第一反向光流执行光流优化处理，得到与各所述第一正向光流对应的第二正向光流，以及与各所述第一反向光流对应的第二反向光流；利用各所述第二正向光流对所述连续的多帧图像执行正向传导优化，以及利用各所述第二反向光流对所述连续的多帧图像执行反向传导优化，直至优化后的连续的多帧图像中的各图像均满足修复要求；根据正向传导优化以及反向传导优化获得的各优化图像，获得所述连续的多帧图像的修复图像。本公开实施例能够提高连续帧修复的一致性以及修复的实时性。

技术领域

本公开涉及视频修复领域，特别涉及一种视频修复方法及装置、电子设备和存储介质。

背景技术

图像修复一直是计算机视觉中的一个重要问题，在许多领域都有着重要的应用，例如，可以通过图像修复实现图像去水印以及图像修补等目的。视频修复作为图像修复问题在视频上的一种延伸，其与单纯的图像修复问题相比，实现难度大大增加。但是随着互联网的发展，视频修复算法的应用有着更加广泛的前景，例如需要去除视频水印以及去除视频中的某些部分等。

当前，一部分现有的用于处理图像修复问题的方法，虽然可以直接应用到视频当中去，但是由于缺少时序一致性的限制，很难在视频中做到帧之间的连续一致性。其他传统的基于优化的视频修复算法，由于其需要不断地进行图像块之间的搜索与匹配，所以导致了很难做到实时性修复，对于一段90帧的视频甚至需要3-4个小时的处理时间。

因此，现有技术存在视频修复不能实现各帧之间的连续一致性，以及实时性较差的技术问题。

发明内容

本公开实施例提供了一种视频修复方法及装置、电子设备和存储介质，其能够提高连续帧修复的一致性以及修复的实时性。

根据本公开的一方面，提供了一种视频修复方法，其包括：

获取连续的多帧图像中各相邻图像之间的第一正向光流和第一反向光流；

分别对所述第一正向光流和第一反向光流执行光流优化处理，得到与各所述第一正向光流对应的第二正向光流，以及与各所述第一反向光流对应的第二反向光流；

利用各所述第二正向光流对所述连续的多帧图像执行正向传导优化，以及利用各所述第二反向光流对所述连续的多帧图像执行反向传导优化，直至优化后的连续的多帧图像中的各图像均满足修复要求；

根据正向传导优化以及反向传导优化获得的各优化图像，获得所述连续的多帧图像的修复图像。

在一些可能的实施方式中，所述获取连续的多帧图像中各相邻图像之间的第一正向光流和第一反向光流，包括：

获取所述多帧图像中每个图像的掩码图，所述掩码图表示对应图像的待修复区域；

根据所述多帧图像的时间帧的正向顺序，确定相邻图像之间的正向光流，以及根据所述多帧图像的时间帧的反向顺序，确定相邻图像的之间的反向光流；

将第i个图像和第i+1个图像之间的正向光流与第i+1个图像的掩码图相乘，得到第i个图像和第i+1个图像之间第一正向光流，以及将第i+1个图像和第i个图像之间的反向光流与第i个图像的掩码图相乘，得到第i+1个图像和第i个图像之间第一反向光流，其中i为大于或者等于1且小于G的正整数，G为多帧图像中图像的数量。

在一些可能的实施方式中，所述分别对所述第一正向光流和第一反向光流执行光流优化处理，包括：

连接各所述第一正向光流得到第一连接光流，以及连接各所述第一反向光流得到第二连接光流；

分别对所述第一连接光流和第二连接光流执行N次光流优化处理，得到所述第一连接光流对应的第一优化光流，以及第二连接光流对应的第二优化光流，N为大于或者等于1的正整数；