[发明专利]一种可插入任意帧率的视频插帧方法及系统

说明书

本公开公开的一种可插入任意帧率的视频插帧方法及系统，包括：获取需要插帧的相邻的上一帧图像特征和下一帧图像特征，及插入帧时刻距离上一帧时刻的第一时间间隔信息，插入帧时刻距离下一帧时刻的第二时间间隔信息；将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中，输出第一中间帧特征，将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中，输出第二中间帧特征，将第一中间帧特征和第二中间帧特征融合获得中间帧特征；根据中间帧特征获得所要插入的中间帧。实现了任意时刻的灵活插帧。

技术领域

本发明涉及视频插帧技术领域，尤其涉及一种可插入任意帧率的视频插帧方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

视频插帧是指在视频的任意两帧之间插入新的一帧或几帧，现有的显示屏幕播放高清视频的帧率为每秒60帧、120帧或240帧。然而，现有的高清视频内容大多是每秒30帧，如果把视频的每一帧都用单张图超分辨率方法放大可能会导致不同的帧之间会产生像素偏差，从而损害了视频对人类视觉系统的感知质量。因此，视频插帧是一个非常重要的视频增强任务。现有的视频插帧技术大多基于光流的方法，此类方法需要额外大量的内存消耗、参数量和计算量去估计光流信息。为避免使用光流方法，近期的方法主要采用可变形卷积网络框架去学习插帧的过程，然而，此类框架只能在任意两帧之间插入固定的中间一帧。这样每秒30帧的视频最多能插帧到每秒60帧。当然，进行多次插帧可以继续提升视频帧率，但是这样做会导致插帧质量较差，无法实现对不同设备进行灵活插帧。

发明内容

本公开为了解决上述问题，提出了一种可插入任意帧率的视频插帧方法及系统，实现了任意时刻下的视频插帧。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种可插入任意帧率的视频插帧方法，包括：

一种可插入任意帧率的视频插帧系统，包括：

获取需要插帧的相邻的上一帧图像特征和下一帧图像特征，及插入帧时刻距离上一帧时刻的第一时间间隔信息，插入帧时刻距离下一帧时刻的第二时间间隔信息；

将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中，输出第一中间帧特征，将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中，输出第二中间帧特征，将第一中间帧特征和第二中间帧特征融合获得中间帧特征；

根据中间帧特征获得所要插入的中间帧。

第二方面，提出了一种可插入任意帧率的视频插帧系统，包括：

数据获取模块，用于获取需要插帧的相邻的上一帧图像特征和下一帧图像特征，及插入帧时刻距离上一帧时刻的第一时间间隔信息，插入帧时刻距离下一帧时刻的第二时间间隔信息；

中间帧特征获取模块，用于将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中，输出第一中间帧特征，将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中，输出第二中间帧特征，将第一中间帧特征和第二中间帧特征融合获得中间帧特征；

中间帧获取模块，用于根据中间帧特征获得所要插入的中间帧。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种可插入任意帧率的视频插帧方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种可插入任意帧率的视频插帧方法所述的步骤。