[发明专利]一种基于自适应可变形卷积的视频帧插值方法及系统

权利要求书

1.一种基于自适应可变形卷积的视频帧插值方法，包括：

读取待处理视频流，取得所述待处理视频流中需要进行插值的相邻的第一图像帧和第二图像帧；

将所述第一图像帧和所述第二图像帧输入预设的卷积神经网络模型；

通过所述卷积神经网络模型分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征，并对所述第一图像特征和第二图像特征执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型包括由编码器和解码器构建的特征提取子网络；

所述通过所述卷积神经网络模型分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征，包括：

通过所述卷积神经网络模型中的特征提取子网络分别提取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征。

3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型还包括：参数估计子网络以及自适应可变形卷积子网络；

所述对所述第一图像特征和第二图像特征执行自适应可变形卷积的操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧，包括：

将所述第一图像特征和所述第二图像特征输入所述参数估计子网络，以获得执行自适应可变形卷积操作所需的预设参数；其中，所述预设参数包括：所述第一图像帧和所述第二图像帧中各像素点的内核权重和偏移矢量；

将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧，包括：

将所述第一图像帧、第二图像帧以及所述预设参数同时输入所述自适应可变形卷积子网络，基于第一卷积公式执行自适应可变形卷积操作，得到并输出所述第一图像帧和所述第二图像帧的中间帧；

所述第一卷积公式为：

其中，W_k.l(i,j)表示像素点(i,j)处、内核位置(k,l)处的权重大小；(α_k,l,β_k,l)表示偏移量；I表示经自适应可变形卷积操作前的图像；表示经自适应可变形卷积操作后的图像。

5.根据权利要求4所述的方法，其特征在于，所述将所述相邻图像帧、每个所述像素块数据的内核权重和偏移矢量同时输入自适应可变形卷积神经网络，合成并输出插帧后的视频流之前，还包括：

若判断所述第一图像帧或第二图像帧中存在不可见像素点，则定义遮挡系数并与所述第一图像帧、第二图像帧、预设参数同时输入所述自适应可变形卷积子网络，经过空间变化进行逐像素相乘的卷积操作，得到并输出所述中间帧。

6.根据权利要求5所述的方法，其特征在于，所述定义遮挡系数并与所述第一图像帧、第二图像帧、预设参数同时输入所述自适应可变形卷积子网络，经过空间变化进行逐像素相乘的卷积操作，得到并输出所述中间帧，包括：

定义遮挡系数V∈[0,1]^M×N，并与所述第一图像帧、第二图像帧、预设参数同时输入所述自适应可变形卷积子网络，经过空间变化并基于第二卷积公式进行逐像素相乘的卷积操作，得到并输出所述中间帧；

所述第二卷积公式为：

I_out＝Ve T_f(I_n)+(J_M，N-V)e T_b(I_n+1)

其中，表示逐像素乘法；J_M,N表示M×N的矩阵；T_f表示前项空间变换；T_b表示后项空间变换；M×N表示输入图像和输出图像的大小。