[发明专利]一种基于自适应可变形卷积的视频帧插值方法及系统

说明书

本申请提供了一种基于自适应可变形卷积的视频帧插值方法及系统，在本申请提供的方法中，先读取待处理视频流，取得待处理视频流中需要进行插值的相邻的第一图像帧和第二图像帧，然后将这两个图像帧输入预设的卷积神经网络模型提取特征，并执行自适应可变形卷积操作，得到并输出第一图像帧和第二图像帧的中间帧。基于本申请提供的基于自适应可变形卷积的视频帧插值方法及系统，将基于核估计的方法和基于流图估计的方法的优点相结合，弥补这两种方法自身的局限性，能够处理复杂的运动、低质量视频帧和具有遮挡的情况，并进一步提升了提升视频帧插值选取的效率及准确性。

技术领域

本申请涉及视频处理技术领域，特别是涉及一种基于自适应可变形卷积的视频帧插值方法及系统。

背景技术

视频帧插值是计算机视觉中视频处理领域的主要问题之一，是指合成连续帧中的中间帧的方法。使用该方法可以不用依靠专业高速摄像机而从普通视频中获得慢动作视频，或者通过恢复下采样视频应用于视频压缩领域。

但是，对于传统方案来讲，部分方案需要大的存储器并且在估计每个像素的内核时计算成本很高，并且不能处理大于内核大小的运动；另一部分针对每个输出像素估计指向参考位置的流向量的方案，在当输入帧为低质量时，很难处理复杂的运动情况。因此，现亟需提供一种效率更高的视频帧插值方法。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于自适应可变形卷积的视频帧插值方法，包括：

读取待处理视频流，取得所述待处理视频流中需要进行插值的相邻的第一图像帧和第二图像帧；

将所述第一图像帧和所述第二图像帧输入预设的卷积神经网络模型；

通过所述卷积神经网络模型分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征，并对所述第一图像特征和第二图像特征执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧。

可选地，所述卷积神经网络模型包括由编码器和解码器构建的特征提取子网络；

所述通过所述卷积神经网络模型分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征，包括：

通过所述卷积神经网络模型中的特征提取子网络分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征。

可选地，所述卷积神经网络模型还包括：参数估计子网络以及自适应可变形卷积子网络；

所述对所述第一图像特征和第二图像特征执行自适应可变形卷积的操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧，包括：

将所述第一图像特征和所述第二图像特征输入所述参数估计子网络，以获得执行自适应可变形卷积操作所需的预设参数；其中，所述预设参数包括：所述第一图像帧和所述第二图像帧中各像素点的内核权重和偏移矢量；

将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧。

可选地，所述将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧，包括：

将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络，基于第一卷积公式执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧；

所述第一卷积公式为：