[发明专利]一种基于无监督对偶学习的视频插帧方法

说明书

为了克服现有技术的不足，本发明提供一种基于无监督对偶学习的视频插帧方法。首先，对输入的视频训练数据集进行分组；然后，利用无监督的双向光流网络生成两帧图像的光流信息，并计算中间光流信息和初步的中间插帧图像；接着，利用细化光流模块生成细化的中间光流信息，并计算细化的中间插帧图像；最后，采用视频外插的方法，计算中间插帧图像到输入两帧图像的光流信息，再利用图像扭转方法合成得到新的输入帧，以新的输入帧做为监督信息训练整个网络，得到最终的插帧结果图像。本发明通过利用插帧方法生成高质量中间帧，再以其作为参考帧外推得到新的输入帧的方式，无需利用大量的高帧率视频集，计算简单。

技术领域

本发明属计算机视觉、视频处理技术领域，具体涉及一种基于无监督对偶学习的视频插帧方法。

背景技术

文献H.Jiang,D.Sun,V.Jampani,M.Yang,E.Miller,and J.Kautz,Super Slomo:High Quality Estimation of Multiple Intermediate Frames for VideoInterpolation.IEEE Conference on Computer Vision and Pattern Recognition,2018,pp.9000-9008.提出了一种可以在连续两帧之间任意时间步长上生成中间帧的方法，针对物体的运动过程中存在遮挡，即前一帧的像素在后一帧中未必是可见的这一问题，设计了一个光流改善模块。该方法由两个步骤组成，光流估计和合成中间帧。首先使用一个双向光流网络生成所输入两帧之间的粗略的双向光流，以得到的粗略双向光流为基础估算出中间帧到输入的前后两帧间的粗略中间光流，之后通过图像扭转分别估算出相应的中间帧图像，然后将这些信息作为光流改善模块的输入，以中间帧到前后帧细化的光流以及相应的可见性流图为输出，再利用图像扭转方法合成最终的插帧结果。但是文献所提出的方法依赖大量的高帧率的视频数据集，且需要人工干预以及真实的中间帧作为监督信息来训练网络，计算量大，对硬件设备要求较高。

发明内容

为了克服现有技术的不足，本发明提供一种基于无监督对偶学习的视频插帧方法。首先，对输入的视频训练数据集进行分组；然后，利用无监督的双向光流网络生成两帧图像的光流信息，并计算得到中间光流信息和初步的中间插帧图像；接着，再利用细化光流模块生成细化的中间光流信息，并计算细化的中间插帧图像；最后，采用视频外插的方法，根据得到的中间插帧图像计算其到输入的两帧图像的光流信息，再利用图像扭转方法合成得到新的输入帧，以新的输入帧做为监督信息训练整个网络，直到网络参数epoch为300时，得到最终的插帧结果图像。本发明通过利用插帧方法生成高质量中间帧，再以其作为参考帧外推得到新的输入帧的方式，无需利用大量的高帧率视频集，计算简单。

一种基于无监督对偶学习的视频插帧方法，其特征体现在如下步骤中：

步骤1：使用Adobe240-fps视频数据集作为训练集，将其所有视频帧图像中的任意连续12帧图像作为一组数据；

步骤2：将步骤1得到的一组视频帧图像中的第1帧和第9帧图像，分别记为I_i和I_j，输入到无监督的双向光流网络U-Net₁中，输出得到双向光流信息F_i→j和F_j→i，其中，F_i→j表示从图像I_i到图像I_j的光流信息，F_j→i表示从图像I_j到图像I_i的光流信息；