[发明专利]视频插帧方法、装置、设备以及存储介质

权利要求书

1.一种视频插帧方法，包括：

获取目标视频及获取所述目标视频中的第t-1帧图像和第t帧图像，其中，t为正整数；

获取所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息；

分别获取所述第t-1帧图像和所述第t帧图像的深层插帧特征；

基于所述第t-1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息，分层进行插帧操作，生成所述第t-1帧图像和所述第t帧图像之间的插帧，并插入所述第t-1帧图像和所述第t帧图像之间；

其中，所述基于所述第t-1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息，分层进行插帧操作，生成所述第t-1帧图像和所述第t帧图像之间的插帧，并插入所述第t-1帧图像和所述第t帧图像之间，包括：

将所述第t-1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息输入至预先训练好的插帧模型，所述插帧模型基于所述运动层次信息分层进行插帧操作，得到各个层的插帧；

合并所述各个层的插帧，得到所述第t-1帧图像和所述第t帧图像之间的插帧，并插入所述第t-1帧图像和所述第t帧图像之间。

2.根据权利要求1所述的方法，其中，所述获取所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息，包括：

分别获取所述第t-1帧图像和所述第t帧图像的运动层次深层特征；

基于所述第t-1帧图像和所述第t帧图像的运动层次深层特征得到所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息。

3.根据权利要求2所述的方法，其中，所述基于所述第t-1帧图像和所述第t帧图像的运动层次深层特征得到所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息，包括：

基于所述第t-1帧图像和所述第t帧图像的运动层次深层特征，将运动层次相同的像素或运动层次相同的物体或运动层次相同的区域标记为同一个层次，得到所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息。

4.根据权利要求3所述的方法，其中，所述运动层次包括运动层和静止层。

5.根据权利要求1所述的方法，其中，各个层的所述插帧操作是相同的。

6.一种视频插帧装置，包括：

第一获取模块，被配置成获取目标视频及获取所述目标视频中的第t-1帧图像和第t帧图像，其中，t为正整数；

第二获取模块，被配置成获取所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息；

第三获取模块，被配置成分别获取所述第t-1帧图像和所述第t帧图像的深层插帧特征；

插帧模块，被配置成基于所述第t-1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息，分层进行插帧操作，生成所述第t-1帧图像和所述第t帧图像之间的插帧，并插入所述第t-1帧图像和所述第t帧图像之间；

其中，所述插帧模块进一步配置成：

将所述第t-1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息输入至预先训练好的插帧模型，所述插帧模型基于所述运动层次信息分层进行插帧操作，得到各个层的插帧；

合并所述各个层的插帧，得到所述第t-1帧图像和所述第t帧图像之间的插帧，并插入所述第t-1帧图像和所述第t帧图像之间。

7.根据权利要求6所述的装置，其中，所述第二获取模块进一步配置成：

获取子模块，被配置成分别获取所述第t-1帧图像和所述第t帧图像的运动层次深层特征；

运动层次子模块，被配置成基于所述第t-1帧图像和所述第t帧图像的运动层次深层特征得到所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息。

8.根据权利要求7所述的装置，其中，所述运动层次子模块进一步配置成：

基于所述第t-1帧图像和所述第t帧图像的运动层次深层特征，将运动层次相同的像素或运动层次相同的物体或运动层次相同的区域标记为同一个层次，得到所述第t-1帧图像和所述第t帧图像的各个像素点的运动层次信息。