[发明专利]视频插帧方法及其装置、设备、介质、产品

权利要求书

1.一种视频插帧方法，其特征在于，包括：

获取待插帧处理的目标视频，提取出所述目标视频中在时域上连续的两个参考帧图；

由预训练的光流预测模型计算两个参考帧图之间的过渡帧图相对于两个参考帧图的光流预测向量；

由预训练的插帧合成模型根据所述光流预测向量与所述两个参考帧图的图像特征向量生成所述过渡帧图的残差信息，所述残差信息包含残差值及图像映射权重；

由预训练的插帧合成模型参考所述两个参考帧图，根据所述光流预测向量与所述残差信息生成所述过渡帧图，将过渡帧图插入两个参考帧图之间用于播放。

2.根据权利要求1所述的视频插帧方法，其特征在于，获取待插帧处理的目标视频，提取出所述目标视频中在时域上连续的两个参考帧图，包括如下步骤：

获取待播放视频的帧率数据；

将所述帧率数据与预定帧率阈值进行比对；

当所述帧率数据表征的帧率值小于所述帧率阈值，确定所述待播放视频为所述目标视频；

沿所述目标视频的时域提取出两个参考帧图以进行插帧处理。

3.根据权利要求1所述的视频插帧方法，其特征在于，由预训练的光流预测模型计算两个参考帧图之间的过渡帧图相对于两个参考帧图的光流预测向量，包括如下步骤：

将所述两个参考帧图进行通道图像叠加后生成叠加图像；

通过卷积层对所述叠加图像进行卷积池化处理，生成下采样特征；

通过反卷积层对所述下采样特征进行插值处理，生成上采样特征；

将所述下采样特征和所述上采样特征进行特征融合叠加生成过渡帧图相对于两个参考帧图的光流预测向量。

4.根据权利要求1所述的视频插帧方法，其特征在于，由预训练的插帧合成模型根据所述光流预测向量与所述两个参考帧图的图像特征向量生成所述过渡帧图的残差信息，包括如下步骤：

由预训练的图像特征提取模型提取所述两个参考帧图的图像特征向量；

由所述插帧合成模型根据两个图像特征向量与其相应的光流预测向量计算出过渡帧图相对应的所述残差值；

由所述插帧合成模型以两个参考帧图为参考，合成出用于表征所述图像映射权重的掩码图。

5.根据权利要求1所述的视频插帧方法，其特征在于，由预训练的插帧合成模型参考所述两个参考帧图，根据所述光流预测向量与所述残差信息生成所述过渡帧图，将过渡帧图插入两个参考帧图之间用于播放，包括如下步骤：

根据所述光流预测向量分别对两个参考帧图进行相应的图像变换，获得两个映射帧图；

以所述图像映射权重为超参数对两个映射帧图进行平滑合成，获得融合帧图；

将所述融合帧图叠加所述残差值获得过渡帧图。

6.根据权利要求1至5中任意一项所述的视频插帧方法，其特征在于，所述光流预测模型与插帧合成模型被联合训练，其训练过程包括如下步骤：

对预先采集的样本视频进行帧化处理生成样本图集，其中，所述样本图集包括：两个训练帧图和样本帧图，所述样本帧图位于所述两个训练帧图相对应的时间区间内；

将所述两个训练帧图输入至预训练至收敛状态的光流计算模型中计算出其自身的光流真实向量；

将所述两个训练帧图输入至在训练的所述光流预测模型中计算出过渡帧图相对于该两个训练帧图的光流预测向量；

将所述两个训练帧图输入至预训练至收敛状态的图像特征提取模型中获得其相对应的两个图像特征向量；

将两个训练帧图及其图像特征向量、光流预测向量输入至在训练的所述插帧合成模型中计算残差信息，获得相应的过渡帧图；

根据预设的损失函数计算所述过渡帧图与所述样本帧图之间的损失值，当所述损失值大于预设的损失阈值时继续迭代训练，所述损失值为多个差值的加权和，所述多个差值包括：光流预测向量与光流真实向量之间的损失差值、所述样本帧图与所述过渡帧图之间语义特征的均方误差、所述样本帧图与根据所述残差信息计算的映射帧图之间的绝对误差。