[发明专利]一种基于深度学习特征空间的视频压缩方法

权利要求书

1.一种基于深度学习特征空间的视频压缩方法，其特征在于，包括以下步骤：

将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；

基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；

利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；包括：

计算当前特征F_t与参考特征之间的差值R_t，利用压缩网络对差值R_t进行残差压缩，得到残差压缩过程中产生的量化特征和解压之后的重建残差特征/

将重建残差特征与预测特征/相加，得到初始重建特征/

将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；

对最终重建特征进行帧重建，得到当前图像帧的重建帧；

将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。

2.根据权利要求1所述的一种基于深度学习特征空间的视频压缩方法，其特征在于，所述基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征，包括：

利用特征提取器提取上一重建帧的参考特征/

对当前特征F_t和参考特征进行运动估计，得到两帧之间的偏移量O_t；

利用压缩网络对偏移量O_t进行运动压缩，得到运动压缩过程中产生的量化特征和解压之后的重建偏移量

基于重建偏移量采用可变形卷积对参考特征/进行运动补偿，得到当前图像帧的预测特征/

3.根据权利要求1所述的一种基于深度学习特征空间的视频压缩方法，其特征在于，所述将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征，包括：

从重建帧的参考特征缓存中取出前三帧的参考特征和/

采用可变形卷积对前三帧的参考特征进行运动补偿，使其与初始重建特征对齐，得到前三帧预测特征/和/

采用非本地注意力算法对初始重建特征和前三帧预测特征/和/进行优化，并将优化后的初始重建特征和前三帧预测特征在通道这一维度连接起来，得到最终重建特征/

4.根据权利要求3所述的一种基于深度学习特征空间的视频压缩方法，其特征在于，所述非本地注意力算法包括：

根据初始重建特征与前三帧的参考特征在每个局部位置的相似度，得到每个点的注意力图；

基于注意力图，对初始重建特征和前三帧的参考特征在每个局部位置进行加权平均，作为当前位置的特征值。