[发明专利]一种视频超分辨率方法、装置、设备及存储介质

权利要求书

1.一种视频超分辨率方法，其特征在于，包括：

获取待处理视频帧序列；其中，所述待处理视频帧序列包括至少一个视频帧组，所述视频帧组为三帧连续的视频帧；

将所述待处理视频帧序列输入至预设的视频超分辨率模型，根据输出的生成结果确定与所述待处理视频帧序列对应的超分辨率视频帧序列；

其中，所述视频超分辨率模型为采用设定训练方法训练的神经网络模型；所述视频超分辨率模型中至少包括多分枝特征融合模块，所述多分枝特征融合模块用于并行提取不同感受野大小的特征信息和高频特征信息，并将所述不同感受野大小的特征信息和所述高频特征信息进行融合。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理视频帧序列，包括：

获取待处理视频数据，通过预设滑动窗口对所述待处理视频数据进行划分，确定至少一个视频帧组；其中，所述预设滑动窗口的窗口大小为三帧，滑动步长为一帧；

将各所述视频帧组依据时间顺序进行排序，确定待处理视频帧序列。

3.根据权利要求1所述的方法，其特征在于，所述视频超分辨率模型还包括视频帧超分模块、视频帧对齐模块和上采样模块；所述将所述待处理视频帧序列输入至预设的视频超分辨率模型，根据输出的生成结果确定与所述待处理视频帧序列对应的超分辨率视频帧序列，包括：

针对所述待处理视频帧序列中的每个视频帧组，将所述视频帧组分别输入至所述视频超分辨率模型中的所述视频帧超分模块和所述视频帧对齐模块，并将所述视频帧超分模块的输出确定为第一超分结果，将所述视频帧对齐模块的输出确定为对齐视频帧；

将所述对齐视频帧输入至所述多分枝特征融合模块中进行特征提取和融合，确定融合特征图；

将所述融合特征图输入至所述上采样模块进行像素重排，确定第二超分结果；

将所述第一超分结果与所述第二超分结果进行特征相加生成的视频帧，确定为与所述视频帧组对应的超分辨率视频帧；

将所述待处理视频帧序列对应的各所述超分辨率视频帧依据时间顺序排序，确定超分辨率视频帧序列。

4.根据权利要求3所述的方法，其特征在于，所述视频帧对齐模块包括第一光流估计子模块、第一对齐子模块、第二光流估计子模块和第二对齐子模块；

将所述视频帧组输入至所述视频帧对齐模块，将所述视频帧对齐模块的输出确定为对齐视频帧，包括：

将所述视频帧组中的第一帧确定为第一参考帧，第二帧确定为待重建帧，第三帧确定为第二参考帧；

将所述第一参考帧和所述待重建帧输入至所述第一光流估计子模块，确定第一光流图；

将所述第一参考帧和所述第一光流图输入至所述第一对齐子模块，确定与所述第一参考帧对应的第一对齐视频帧；

将所述第二参考帧和所述待重建帧输入至所述第二光流估计子模块，确定第二光流图；

将所述第二参考帧和所述第二光流图输入至所述第二对齐子模块，确定与所述第二参考帧对应的第二对齐视频帧；

将所述第一对齐视频帧、所述第二对齐视频帧和所述待重建帧进行合并，确定对齐视频帧。

5.根据权利要求3所述的方法，其特征在于，所述多分枝特征融合模块包括特征提取子模块、残差子模块和密集子模块；

所述将所述对齐视频帧输入至所述多分枝特征融合模块中进行特征提取和融合，确定融合特征图，包括：

将所述对齐视频帧输入至所述特征提取子模块进行特征提取，确定小感受野特征图；

将所述小感受野特征图输入至所述残差子模块进行特征提取融合，确定感受野融合特征图；其中，所述残差子模块中的中位残差块和末位残差块与所述小感受野特征图跳连接；

将所述对齐视频帧输入至所述密集子模块进行高频信息提取，确定高频特征图；

将所述感受野融合特征图和所述高频特征图进行特征相加，确定融合特征图。