[发明专利]一种可插入任意帧率的视频插帧方法及系统

权利要求书

1.一种可插入任意帧率的视频插帧方法，其特征在于，包括：

获取需要插帧的相邻的上一帧图像特征和下一帧图像特征，及插入帧时刻距离上一帧时刻的第一时间间隔信息，插入帧时刻距离下一帧时刻的第二时间间隔信息；

将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中，输出第一中间帧特征，将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中，输出第二中间帧特征，将第一中间帧特征和第二中间帧特征融合获得中间帧特征；

根据中间帧特征获得所要插入的中间帧；

其中，将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中，输出第一中间帧特征的具体过程为：

将上一帧图像特征、下一帧图像特征输入第一金字塔级联可变形模块中进行特征融合，从第一时间间隔信息中提取第一时间间隔信息特征，将第一时间间隔信息特征与第一金字塔级联可变形模块的主干特征进行融合，获得上一帧图像特征到下一帧图像特征间的第一运动信息，通过第一运动信息对上一帧图像特征进行运动补偿，获得第一中间帧特征；

将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中，输出第二中间帧特征的具体过程为：

将上一帧图像特征、下一帧图像特征输入第二金字塔级联可变形模块中进行特征融合，从第二时间间隔信息中提取第二时间间隔信息特征，将第二时间间隔信息特征与第二金字塔级联可变形模块的主干特征进行融合，获得下一帧图像特征到上一帧图像特征间的第二运动信息，通过第二运动信息对下一帧图像特征进行运动补偿，获得第二中间帧特征。

2.如权利要求1所述的一种可插入任意帧率的视频插帧方法，其特征在于，通过全连接网络从第一时间间隔信息中提取第一时间间隔信息特征。

3.如权利要求1所述的一种可插入任意帧率的视频插帧方法，其特征在于，将第一中间帧特征和第二中间帧特征堆叠并通过卷积操作进行融合，获得中间帧特征。

4.如权利要求1所述的一种可插入任意帧率的视频插帧方法，其特征在于，通过特征提取网络分别从上一帧图像和下一帧图像中提取上一帧图像特征和下一帧图像特征。

5.如权利要求1所述的一种可插入任意帧率的视频插帧方法，其特征在于，将中间帧特征输入解码网络中，解码获得在插入帧时刻插入上一帧和下一帧之间的中间帧。