[发明专利]视频处理方法和装置

权利要求书

1.一种视频处理方法，包括：

对视频的目标帧及其相邻帧进行特征编码，以得到目标帧及其相邻帧的特征图；

对于所述目标帧的特征图中的每个像素，确定所述相邻帧的特征图中与所述像素相关度最大的像素；

根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图；

根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建。

2.根据权利要求1所述的视频处理方法，其中，根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建包括：

根据所述目标帧的特征图、所述第一参考特征图以及第二参考特征图，进行超分辨率重建，其中，所述第二参考特征图融合了通用像素特征。

3.根据权利要求1或2所述的视频处理方法，其中，确定所述相邻帧的特征图中与所述像素相关度最大的像素包括：

确定所述像素与其在所述相邻帧的特征图中的邻域像素的相关度；

根据所述相关度，从所述邻域像素中选取出相关度最大的像素。

4.根据权利要求1或2所述的视频处理方法，其中，根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图包括：

根据所述相邻帧的特征图中与所述像素相关度最大的像素的特征，以及对应的相关度，确定所述像素对应的第一参考特征；

根据所述像素对应的第一参考特征，构建第一参考特征图。

5.根据权利要求2所述的视频处理方法，还包括：

确定所述目标帧的特征图中的像素与多个通用像素特征的相关度；

按照所述相关度对所述多个通用像素特征进行融合处理，以得到所述像素对应的第二参考特征；

根据所述像素对应的第二参考特征，构建所述第二参考特征图。

6.根据权利要求5所述的视频处理方法，其中，按照所述相关度对所述多个通用像素特征进行融合处理，以得到所述像素对应的第二参考特征包括：

对所述相关度进行归一化；

将归一化后的相关度作为权重，对所述多个通用像素特征进行加权平均运算，并将加权平均运算的结果作为所述像素对应的第二参考特征。

7.根据权利要求2所述的视频处理方法，其中，根据所述目标帧的特征图、所述第一参考特征图以及第二参考特征图，进行超分辨率重建包括：

将所述目标帧的特征图、所述第一参考特征图以及第二参考特征图输入特征解码网络模型，以输出第一重建图像；

对所述第一重建图像，以及，对所述目标帧的特征图进行双线性插值处理得到的特征图，进行叠加，以得到第二重建图像。

8.根据权利要求1所述的视频处理方法，其中，特征编码所用的网络模型包括多层ResNet模块。

9.根据权利要求7所述的视频处理方法，其中，所述特征解码网络模型包括多层ResNet模块、以及上采样模块。

10.一种视频处理装置，包括：

特征编码模块，被配置为对视频的目标帧及其相邻帧进行特征编码，以得到目标帧及其相邻帧的特征图；

第一构建模块，被配置为

对于所述目标帧的特征图中的每个像素，确定所述相邻帧的特征图中与所述像素相关度最大的像素，和

根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图；以及

重建模块，被配置为根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建。

11.根据权利要求10所述的视频处理装置，其中，所述重建模块被配置为：

根据所述目标帧的特征图、所述第一参考特征图以及第二参考特征图，进行超分辨率重建，其中，所述第二参考特征图融合了通用像素特征。