[发明专利]视频插帧方法、装置、设备以及存储介质

权利要求书

1.一种视频插帧方法，包括：

分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征，其中，t为正整数；

基于所述第t帧图像和所述第t+1帧图像的深层特征，计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征；

基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征，计算插帧数；

分别抽取所述第t帧图像和所述第t+1帧图像的深层插帧特征；

基于所述第t帧图像和所述第t+1帧图像的深层插帧特征，以及所述插帧数，生成所述第t帧图像和所述第t+1帧图像之间的插帧，并插入所述第t帧图像和所述第t+1帧图像之间。

2.根据权利要求1所述的方法，其中，所述基于所述第t帧图像和所述第t+1帧图像的深层特征，计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征，包括：

将所述第t帧图像和所述第t+1帧图像的深层特征输入到预先训练的运动差异特征提取模型，得到所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征。

3.根据权利要求2所述的方法，其中，所述运动差异特征提取模型包括第一网络、第二网络和第三网络；以及

所述将所述第t帧图像和所述第t+1帧图像的深层特征输入到预先训练的运动差异特征提取模型，得到所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征，包括：

将所述第t帧图像和所述第t+1帧图像的深层特征分别输入到所述第一网络，得到所述第t帧图像和所述第t+1帧图像的中间特征；

对所述第t帧图像和所述第t+1帧图像的中间特征进行处理，得到第一处理结果和第二处理结果，其中，所述第一处理结果和所述第二处理结果的方向相反；

将所述第一处理结果输入至所述第二网络，得到从所述第t帧图像到所述第t+1帧图像的运动差异深层特征，以及将所述第二处理结果输入至所述第三网络，得到从所述第t+1帧图像到所述第t帧图像的运动差异深层特征。

4.根据权利要求3所述的方法，其中，所述对所述第t帧图像和所述第t+1帧图像的中间特征进行处理，得到第一处理结果和第二处理结果，包括：

将所述第t帧图像和所述第t+1帧图像的中间特征前后拼接，得到所述第一处理结果，以及将所述第t+1帧图像和所述第t帧图像的中间特征前后拼接，得到所述第二处理结果；或者

将所述第t帧图像和所述第t+1帧图像的中间特征相减，得到所述第一处理结果，以及将所述第t+1帧图像和所述第t帧图像的中间特征相减，得到所述第二处理结果。

5.根据权利要求1所述的方法，其中，所述基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征，计算插帧数，包括：

将所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征输入至预先训练的运动差异-插帧率转换模型，得到所述插帧数。

6.根据权利要求1所述的方法，其中，所述基于所述第t帧图像和所述第t+1帧图像的深层插帧特征，以及所述插帧数，生成所述第t帧图像和所述第t+1帧图像之间的插帧，包括：

将所述第t帧图像和所述第t+1帧图像的深层插帧特征，以及所述插帧数输入至预先训练的自适应插帧模型，生成所述第t帧图像和所述第t+1帧图像之间的插帧。

7.一种视频插帧装置，包括：

第一抽取模块，被配置成分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征，其中，t为正整数；

第一计算模块，被配置成基于所述第t帧图像和所述第t+1帧图像的深层特征，计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征；

第二计算模块，被配置成基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征，计算插帧数；

第二抽取模块，被配置成分别抽取所述第t帧图像和所述第t+1帧图像的深层插帧特征；

插帧模块，被配置成基于所述第t帧图像和所述第t+1帧图像的深层插帧特征，以及所述插帧数，生成所述第t帧图像和所述第t+1帧图像之间的插帧，并插入所述第t帧图像和所述第t+1帧图像之间。