[发明专利]基于关键帧指导超分辨率的视频压缩方法及装置

权利要求书

1.一种基于关键帧指导超分辨率的视频压缩方法，其特征在于，包括以下步骤：

将输入视频以帧序列的形式输入到关键帧选取网络，得到所述输入视频的高分辨率关键帧；

将所述输入视频以帧序列进行下采样得到所述输入视频的低分辨率帧序列；

将所述高分辨率关键帧和所述低分辨率帧序列输入到生成器中，生成超分辨率视频；

其中，所述将所述高分辨率关键帧和所述低分辨率帧序列输入到生成器中，生成超分辨率视频，包括：

利用插值的方式提高所述低分辨率帧序列的分辨率；

通过卷积层提取所述低分辨率帧序列和所述高分辨率关键帧的特征图，得到低清特征图和高清特征图；

通过所述低清特征图本身进行超分辨率得到第一中间特征图，通过相互注意力层将所述低清特征图和所述高清特征图的信息进行融合，得到第二特征图；

将所述第一中间特征图和所述第二特征图进行拼接，将拼接后的全部特征图输入到恢复模块中生成超分辨率视频；

其中，所述通过相互注意力层将所述低清特征图和所述高清特征图的信息进行融合，得到第二特征图，包括：

对所述低清特征图和所述高清特征图用预设步幅分别提取对应的特征图；

分别将所述对应的特征图转变为二维矩阵，通过所述二维矩阵间特征向量的点乘得到系数矩阵；

根据所述系数矩阵，用softmax得到重建系数，作为重建过程中所述高分辨率关键帧每一个区块的权重；

将所述高分辨率关键帧切分成相应数量的区块，根据每一个区块的权重进行加权得到重建后的所述第二特征图。

2.根据权利要求1所述的基于关键帧指导超分辨率的视频压缩方法，其特征在于，还包括：

通过卷积网络搭建判别器，将所述超分辨率视频和所述输入视频同时作为所述判别器的输入进行对抗生成。

3.根据权利要求1所述的基于关键帧指导超分辨率的视频压缩方法，其特征在于，所述将输入视频以帧序列的形式输入到关键帧选取网络，得到所述输入视频的高分辨率关键帧，进一步包括：

提取所述输入视频每一帧的特征向量，通过长短期记忆人工神经网络获取视频帧之间的时序关系；

通过全连接层和softmax层将所述特征向量转化为置信分数；

将所述置信分数中最高的数对应的视频帧作为高分辨率关键帧。

4.根据权利要求3所述的基于关键帧指导超分辨率的视频压缩方法，其特征在于，根据提取的所述输入视频每一帧的特征向量，利用Gumbel分布采样和softmax层计算训练分数，所述训练分数被赋给每一帧图片一个权重，进而选择出替代帧，利用所述替代帧训练所述关键帧选取网络。

5.根据权利要求1-4任一权利要求所述的基于关键帧指导超分辨率的视频压缩方法，其特征在于，还包括：通过损失函数对所述关键帧选取网络、生成器、判别器进行优化。