[发明专利]图像处理方法、装置、电子设备及存储介质

说明书

本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将第一图像和第二图像划分为大小相同的网格；获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。该方案解决了相关技术中对图像进行修复时，由于图像处理数据量较大，导致难以实时进行处理的技术问题。

技术领域

本公开涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

视频修复技术广泛应用于影视拍摄中，如哈利波特隐身衣、透明人等影视特效，也应用于短视频的制作，如擦除视频中多余人等应用。然而目前由于该技术实现的复杂度较高，仍需要经过专业培训才能够实现比较完美的视频修复效果。

相关技术中，可以首先对整条视频图像帧间光流进行恢复，并对光流图像进行边缘提取。通过边缘补全算法，对光流的边缘进行补全，随后将补全的光流边缘和原始需要补全的光流图像输入网络，来恢复视频图像不同区域的运动状态。获得整条视频的帧间运动状态后，对于每张图像需要补全的区域的每一个像素，通过帧间光流信息都可以找到视频中每一帧与其对应的像素，这样通过在视频中的搜索就可以恢复当前帧需要补全像素的像素值。

但由于上述修复方法以及其他目前存在的修复方法的计算量过大，导致目前的视频修复技术一般为离线视频修复，即先录制视频，再使用专业编辑工具对整个视频进行处理以达到视频修复的目的。这种离线的编辑方式不仅需要专业的知识，还需要使用不同的软件对视频进行处理，且不能实现实时的在线预览，最后实现该效果的算法通常运行效率较低，这些原因使得用户无法在拍摄时获取视频处理的效果，从而使得视频的制作效率较低。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中对图像进行修复由于图像处理数据量较大导致难以实时进行处理的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将第一图像和第二图像划分为大小相同的网格，其中，第一图像和第二图像依次为待处理视频中前后连续的两帧图像；获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第一图像为待处理视频的初始帧图像，对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像的步骤包括：通过图像补全算法对第一背景区域中的缺失部分进行补全，得到补全后的背景图像。

作为一种可选的实施例，基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全的步骤包括：基于补全后的背景图像和映射关系将补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；从映射后的背景图像中提取与第二背景区域中的缺失部分对应的区域图像；将区域图像与第二背景区域进行融合，以对第二背景区域中的缺失部分进行补全。