[发明专利]视频插帧方法及其装置、设备、介质、产品

说明书

本申请公开一种视频插帧方法及其装置、设备、介质、产品，所述方法包括：获取待插帧处理的目标视频，提取出所述目标视频中在时域上连续的两个参考帧图；由预训练的光流预测模型计算两个参考帧图之间的过渡帧图相对于两个参考帧图的光流预测向量；由预训练的插帧合成模型根据所述光流预测向量与所述两个参考帧图的图像特征向量生成所述过渡帧图的残差信息，所述残差信息包含残差值及图像映射权重；由预训练的插帧合成模型参考所述两个参考帧图，根据所述各个向量与所述残差信息生成所述过渡帧图，将过渡帧图插入两个参考帧图之间用于播放。本申请实现了端对端对目标视频进行插帧以提升其视频显示质量的效果，应用前景广阔。

技术领域

本申请涉及视频图像处理技术，尤其涉及一种视频插帧方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

为了提升视频的图像质量，对于帧率较低的视频流，可采用视频插帧技术为其补充过渡帧，使视频流被播放时呈现丝滑流畅的显示效果。现有技术中，对视频进行插帧以提升其图像质量的方式有多种实现途径，不同的实现途径取得的显示效果大同小异，其中较为广泛使用的方式是借助卷积神经网络模型对视频图像进行特征提取和光流预测，在此基础上生成过渡帧。

经本申请人实测，现有技术中多种已知的网络架构，在其对视频图像进行插帧处理所获得的播放效果中，都不太理想，因此，本申请人希望通过探索来对现有技术做出相应的贡献，以便实现更佳的视频播放效果。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种视频插帧方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种视频插帧方法，包括如下步骤：

获取待插帧处理的目标视频，提取出所述目标视频中在时域上连续的两个参考帧图；

由预训练的光流预测模型计算两个参考帧图之间的过渡帧图相对于两个参考帧图的光流预测向量；

由预训练的插帧合成模型根据所述光流预测向量与所述两个参考帧图的图像特征向量生成所述过渡帧图的残差信息，所述残差信息包含残差值及图像映射权重；

由预训练的插帧合成模型参考所述两个参考帧图，根据所述各个向量与所述残差信息生成所述过渡帧图，将过渡帧图插入两个参考帧图之间用于播放。

深化的实施例中，获取待插帧处理的目标视频，提取出所述目标视频中在时域上连续的两个参考帧图，包括如下步骤：

获取待播放视频的帧率数据；

将所述帧率数据与预定帧率阈值进行比对；

当所述帧率数据表征的帧率值小于所述帧率阈值，确定所述待播放视频为所述目标视频；

沿所述目标视频的时域提取出两两参考帧图以进行插帧处理。

深化的实施例中，由预训练的光流预测模型计算两个参考帧图之间的过渡帧图相对于两个参考帧图的光流预测向量，包括如下步骤：

将所述两个参考帧图进行通道图像叠加后生成叠加图像；

通过卷积层对所述叠加图像进行卷积池化处理，生成下采样特征；

通过反卷积层对所述下采样特征进行插值处理，生成上采样特征；

将所述下采样特征和所述上采样特征进行特征融合叠加生成过渡帧图相对于两个参考帧图的光流预测向量。

深化的实施例中，由预训练的插帧合成模型根据所述光流预测向量与所述两个参考帧图的图像特征向量生成所述过渡帧图的残差信息，包括如下步骤：