[发明专利]模型训练、视频插帧方法，装置，设备以及存储介质

权利要求书

1.一种模型训练方法，包括：

确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；

分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；

基于所述第一光流集合和所述第二光流集合，确定目标损失函数；

根据所述目标损失函数，训练所述初始光流估计网络；

其中，所述基于所述第一光流集合和所述第二光流集合，确定目标损失函数，包括：基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流，确定目标损失函数；

其中，所述基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流，确定目标损失函数，包括：

分别计算第一光流集合中任意两个第一光流的差值，记为第一差值，将所有的第一差值相加，得到第一和值；

分别计算第二光流集合中任意两个第二光流的差值，记为第二差值，将所有的第二差值相加，得到第二和值；

对所述第一和值以及第二和值进行加权，得到目标损失函数。

2.根据权利要求1所述的方法，其中，所述根据所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流，确定目标损失函数，包括：

根据所述初始光流估计网络，从所述不同分辨率中确定出目标分辨率；

根据所述目标分辨率对应的目标第一光流和所述第一光流集合中除所述目标第一光流之外的其它第一光流，确定第一损失函数；

根据所述目标分辨率对应的目标第二光流和所述第二光流集合中除所述目标第二光流之外的其它第二光流，确定第二损失函数；

基于所述第一损失函数和所述第二损失函数，确定所述目标损失函数。

3.根据权利要求2所述的方法，其中，所述根据所述初始光流估计网络，从所述不同分辨率中确定出目标分辨率，包括：

获取所述初始光流估计网络的训练图像集；

确定所述第一图像帧集合或所述第二图像帧集合中的各图像帧与所述训练图像集之间的分辨率相似度；

根据各分辨率相似度，从所述不同分辨率中确定出所述目标分辨率。

4.根据权利要求1～3任一项所述的方法，其中，所述基于所述第一光流集合和所述第二光流集合，确定目标损失函数，包括：

根据所述第一光流集合和所述第二光流集合中相同分辨率的第一光流和第二光流，生成与各分辨率对应的合成帧；

根据各合成帧与所述插帧位置对应的真值帧，确定第三损失函数；

基于所述第三损失函数，确定所述目标损失函数。

5.根据权利要求1～4任一项所述的方法，其中，所述确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合，包括：

对所述第一参考帧和所述第二参考帧进行至少一次下采样，得到所述第一参考帧对应的扩展帧和所述第二参考帧对应的扩展帧；

根据所述第一参考帧和对应的扩展帧，确定第一图像帧集合；

根据所述第二参考帧和对应的扩展帧，确定第二图像帧集合。

6.根据权利要求1～5任一项所述的方法，其中，所述第一图像帧集合各图像帧与所述第二图像帧集合中的各第二图像帧一一对应，对应的两个图像帧的分辨率相同；以及

所述分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合，包括：

将分辨率相同的第一图像帧与第二图像帧输入所述初始光流估计网络，得到所述第一图像帧与所述第二图像帧之间的第一光流和所述第二图像帧与所述第一图像帧之间的第二光流；

根据各第一光流，得到所述第一光流集合；

根据各第二光流，得到所述第二光流集合。