[发明专利]基于深度学习的端到端视频压缩方法、系统及存储介质

权利要求书

1.一种基于深度学习的端到端视频压缩方法，其特征在于，包括以下步骤：

将目标视频分为多个图像组；

对所述图像组中的关键帧进行端到端帧内编码得到关键帧编码数据；其中，采用基于超先验网络结构的端到端自编码器作为帧内编码框架对所述关键帧进行编码，所述自编码器种类包括高斯分布、混合高斯分布及拉普拉斯分布；

其中，采用基于Pixel CNN上下文建模对超先验自编码结构的结果进行提升处理；

所述关键帧编码数据通过环路滤波网络进行重建后得到关键帧重建帧；

基于所述关键帧重建帧对所述图像组中的非关键帧进行端到端帧间编码得到非关键帧编码数据；

所述非关键帧编码数据通过环路滤波网络进行重建后得到非关键帧重建帧；

其中，所述关键帧编码数据以及非关键帧编码数据通过环路滤波网络进行重建时，具体采用基于全卷积网络的环路滤波模块进行重建；根据已编码的重建图像，建立与重建图像的原始图像之间的端到端全卷积映射，通过使用具有全局残差结构的九层卷积神经网络处理该重建图像，并得到最终的重建图像。

2.根据权利要求1所述的基于深度学习的端到端视频压缩方法，其特征在于，所述基于所述关键帧重建帧对所述图像组中的非关键帧进行端到端帧间编码得到非关键帧编码数据，具体包括：

基于所述关键帧重建帧对所述图像组中的非关键帧进行运动场估计得到运动场信息；

根据所述运动场信息得到非关键帧的帧间预测信息；

根据所述非关键帧的帧间预测信息以及所述非关键帧进行预测残差编码。

3.根据权利要求1所述的基于深度学习的端到端视频压缩方法，其特征在于，所述帧内编码框架在训练时的目标函数公式为：

其中，x为输入图像，为输出图像；

其中，y为根据图像编码的隐变量，y＝Enc(x)；隐变量y的先验分布为服从均值μ，方差为σ的正态分布,y～N(μ,σ)；

其中，均值μ和方差σ是根据超先验自编码器通过端到端学习得到，具体为：

z＝Hyper_Enc(y)；

其中，为经过量化后的超先验自编码器的码字，为超先验正太分布的初步参数。

4.根据权利要求1所述的基于深度学习的端到端视频压缩方法，其特征在于，所述环路滤波网络基于全卷积网络，所述环路滤波网络采用损失函数L2，所述环路滤波网络具体公式为：

其中，x_reci表示输入的已编码图像的重建图像，x_i为已编码图像对应的真实标签，n表示帧数。

5.根据权利要求2所述的基于深度学习的端到端视频压缩方法，其特征在于，所述基于所述关键帧重建帧对所述图像组中的非关键帧进行运动场估计得到运动场信息，具体包括：

当所述关键帧重建帧只有一帧时，所述运动场信息需要通过自编码器编码得到，并写入码流中，所述运动场信息flow₁的计算公式为：

flow₁＝Flownet(f_t-1)；

当所述关键帧重建帧数目大于一帧时，取相对当前非关键帧最临近的两帧重建帧得到运动场信息，此时所述运动场信息无需写入码流中，所述运动场信息flow₂的计算公式为：

flow₂＝Flownet(f_t-2,f_t-1)；

其中，f_t-2以及f_t-1为可使用的关键帧重建帧，Flownet为光流预测网络。