[发明专利]一种基于无监督对偶学习的视频插帧方法

权利要求书

1.一种基于无监督对偶学习的视频插帧方法，其特征在于步骤如下：

步骤1：使用Adobe240-fps视频数据集作为训练集，将其所有视频帧图像中的任意连续12帧图像作为一组数据；

步骤2：从步骤1得到的一组视频帧图像中随机选取连续9帧图像中的第1帧和第9帧图像，分别记为I_i和I_j，输入到无监督的双向光流网络U-Net₁中，输出得到双向光流信息F_i→j和F_j→i，其中，F_i→j表示从图像I_i到图像I_j的光流信息，F_j→i表示从图像I_j到图像I_i的光流信息；

所述的无监督的双向光流网络U-Net₁由编码器Encoder和解码器Decoder两部分组成，编码器Encoder包含五个模块，每个模块包含两个卷积层和一个池化层，第一个模块卷积层的卷积核大小为7*7、步长为1、填充步长为0，第二个模块卷积层的卷积核大小为5*5、步长为1、填充步长为0，其他模块卷积层的卷积核大小为3*3、步长为1、填充步长为0，每两个卷积层之间用Leaky ReLU激活函数连接，除了最后一个模块，每个模块对卷积层提取的图像特征进行平均池化，池化层的大小为7*7、步长为2、填充步长为3，将两帧图像输入到编码器Encoder，输出得到两帧图像的特征；解码器Decoder包含五个模块，每一个模块包含两个卷积层，卷积层的卷积核大小为3*3、步长为1、填充步长为0，将编码器Encoder输出的图像特征输入到解码器Decoder，输出得到光流信息；

步骤3：分别按下式计算得到中间光流信息和

其中，将两帧图像I_i和I_j间的时间距离视为1，I_t表示这两帧图像之间t时刻的图像，t为1/2时刻、1/3时刻或1/4时刻；表示从图像I_t到图像I_i的中间光流信息，表示从图像I_t到图像I_j的中间光流信息；

步骤4：对图像I_i和中间光流信息进行双线性插值，得到中间帧图像I_t→i；对图像I_j和中间光流信息进行双线性插值，得到中间帧图像I_t→j；

步骤5：将图像I_i和I_j、双向光流信息F_i→j和F_j→i、中间光流信息和中间帧图像I_t→i和I_t→j输入到细化光流模块U-Net₂网络中，输出细化后的中间光流信息F_t→i、F_t→j，其中，F_t→i表示图像I_t到图像I_i的细化后的中间光流信息，F_t→j表示图像I_t到图像I_j的细化后的中间光流信息；

所述的细化光流模块U-Net₂网络包括编码器Encoder和解码器Decoder两部分组成，编码器Encoder包含五个模块，每个模块包含两个卷积层和一个池化层，每个卷积层的卷积核大小为3*3、步长为1、填充步长为0，每两个卷积层之间用Leaky ReLU激活函数连接，除了最后一个模块，每个模块对卷积层提取的图像特征进行平均池化，池化层的大小为7*7、步长为2、填充步长为3；解码器Decoder也包含五个模块，每个模块包含两个卷积层，每个卷积层的卷积核大小均为3*3、步长为1、填充步长为0；

步骤6：按下式计算得到细化后的中间帧图像

其中，表示相乘，warp(·，·)表示对两幅输入图像进行双线性插值处理；V表示中间图像，按照下式计算得到：

V＝(1-t)C_t→i+tC_t→j (4)

其中，C_t→i表示图像I_t中的像素点在图像I_i中存在的概率值，C_t→j表示图像I_t中的像素点在图像I_j中存在的概率值，C_t→i和C_t→j的取值均在0～1之间；

步骤7：将原输入图像I_i和I_j和分别输入到无监督的双向光流网络U-Net₁，分别输出双向光流信息F^*_t→i、F^*_i→t和F^*_t→j、F^*_j→t，其中，F^*_t→i表示从图像到图像I_i的光流信息，F^*_i→t表示从图像I_i到图像的光流信息，F^*_t→j表示从图像到图像I_j的光流信息，F^*_j→t表示从图像I_j到图像的光流信息；

步骤8：分别按照下式计算得到细化后的双向光流信息F^*_j→i和F^*_i→j：

其中，F^*_j→i表示从图像I_j到图像I_i的细化光流信息，F^*_i→j表示从图像I_i到图像I_j的细化光流信息；

步骤9：对图像I_i和细化光流信息F^*_j→i进行双线性插值，得到新的图像I^*_i；对图像I_j和细化光流信息F^*_i→j进行双线性插值，得到新的图像I^*_j；

步骤10：返回步骤1对网络进行迭代训练，直到网络参数epoch达到300epoch，得到训练好的网络，并以此时得到的细化后的中间帧图像作为最终插帧结果图像。