[发明专利]一种深度图像/视频压缩网络的训练方法

说明书

本发明公开了一种深度图像/视频压缩网络的训练方法，一方面，能够消除由于加性均值噪声带来的量化误差，通过二阶段的解码器微调来实现训练测试的一致性，能显著提高整体压缩网络的率失真性能。另一方面，通过从边际信息中预先产生数据内容自适应的量化步长，来灵活的控制编码网络的量化粒度，是一种新的空域码率分配策略，使得网络在量化时可以根据图像内容自适应的控制空域上的比特分配。此外，两阶段自适应量化策略能对于所以采用加性均值噪声的编码网络都有效，同时能显著保证编码网络训练的稳定。综上，本发明能够使得基于深度神经网络的视频/图像压缩更加的通用、灵活、高效。

技术领域

本发明涉及图像/视频压缩编码，尤其涉及一种深度图像/视频压缩网络的训练方法。

背景技术

图像与视频的压缩编码是电子信息时代的重要技术，有助于减小图像视频的传输带宽与存储消耗。图像/视频压缩本质上通过控制码率(表征图像视频所需要的二进制数据大小)与失真(恢复图像视频与原图像视频的差异)之间的关系，来实现信息的有效表征。

现有的基于变分神经网络的图像/视频压缩由于包含量化层，所以会导致直接训练梯度无法通过量化层的问题。具体来说，以图像压缩算法为例，非线性变换网络会首先将输入图像变换成为隐层变量，然后通过量化传输得到的隐层变量，解码端可以通过离散的隐层变量重建图像。但是由于直接量化隐层变量所用的函数几乎是不可导的，主流的基于变分自编码器的图像编码器(BalléJ,Minnen D,Singh S,et al.Variational imagecompression with a scale hyperprior[J].ICLR,2018.)在训练的时候会使用加性的均值噪声来近似量化误差，这种量化近似可以被解释为变分量化。但是在实际编解码的时候，整个量化层会采用直接四舍五入取整的方法来得到离散的隐层变量，这造成了训练-测试的不一致的问题，进而使得网络的编码性能下降很大。同时，由于加性的均值噪声通常取值范围是-0.5到0.5，所以限制了量化的步长，导致了隐层变量只能进行整型量化，进而限制了压缩网络的灵活性。

发明内容

本发明的目的是提供一种深度图像/视频压缩网络的训练方法，可以保证训练测试一致性，且通过控制量化步长，使得网络在量化时可以根据图像内容自适应的控制空域上的比特分配。

本发明的目的是通过以下技术方案实现的：

一种深度图像/视频压缩网络的训练方法，包括：

第一个阶段中，输入的图像x通过变换编码网络g_a产生隐层变量y，隐层变量y经过熵编码网络h_a产生边际码流z，加上加性均值噪声U后变为带噪边际码流再经过噪声产生分支h_sq恢复出覆盖整个隐层空间的量化步长Δ，通过量化步长Δ上采样均值噪声U_Δ生成再通过变换解码网络g_s恢复出解码图像同时，采用包含上下文模型g_cm的熵估计模块和熵解码模块h_s结合带噪边际码流来估计隐层变量的分布，进而在训练时计算隐层变量的码率；此阶段将得到训练好的变换编码网络g_a、熵编码网络h_a与噪声产生分支h_sq；

第二阶段中，固定变换编码网络g_a、熵编码网络h_a与噪声产生分支h_sq，将加性均值噪声U替换为硬量化的方式，采用硬量化的方式得到带噪边际码流以及采用硬量化的方式得到离散的量化结果再输入至变换解码网络g_s，第二阶段中采用与第一阶段相同的流程训练，训练对象为包含上下文模型g_cm的熵估计模块和熵解码模块h_s、以及变换解码网络g_s。