[发明专利]基于变分自编码器进行图像压缩和解压的方法和装置

说明书

本申请提供了一种训练VAE的方法，该方法包括：获取训练图像；在所述训练图像中添加第一噪声，得到加噪训练图像；通过所述加噪训练图像训练变分自编码器，所述变分自编码器用于对所述加噪训练图像进行压缩和解压。在训练图像中添加第一噪声相当于对训练图像的像素分布进行了扰动，由于第一噪声的特征是已知的，VAE能够利用被扰动的像素周围的全局上下文信息进行编码，提高低码率下训练图像的信息利用率，因此，通过加噪训练图像训练VAE能够提高VAE的性能，从而提高解码图像的保真度。此外，采用加噪训练图像训练VAE能够提高VAE的特征提取功能的鲁棒性，当使用噪声信道传输码流时，能够提高解码图像的保真度。

技术领域

本申请涉及人工智能领域，尤其涉及一种基于变分自编码器进行图像压缩和解压的方法和装置。

背景技术

图像压缩能够减小图像数据中的冗余信息，因此，图像压缩对于提高图像的存储效率和传输效率有着重要意义。传统的图像压缩方法如联合图像专家组(jointphotographic experts group，JPEG)在中高码率区域有较好的压缩效果，在低码率区域，传统的图像压缩方法的压缩效果不够理想。

一种新的图像压缩方法是通过变分自编码器(variational auto encoder，VAE)对编码图像进行压缩，该方法主要利用卷积网络和对应的非线性变换提取图像特征，并对图像特征直接进行算术编码从而达到压缩目的。这种方法相比传统的图像压缩方法，可以省去复杂的参数设计和模块设计。在解压时，可以采用生成模型重构解码图像。

上述方法能够实现在低码率区间的图像压缩，但是，由于解码图像是生成模型重构的，无法保证解码图像的保真度。

发明内容

本申请提供了一种基于VAE进行图像压缩和解压的方法和装置，能够在低码率区间实现较好的压缩效果，并且，能够提高解码图像的保真度。

第一方面，提供了一种训练VAE的方法，该方法包括：获取训练图像；在所述训练图像中添加第一噪声，得到加噪训练图像；通过所述加噪训练图像训练变分自编码器，所述变分自编码器用于对所述加噪训练图像进行压缩和解压。

在训练图像中添加第一噪声相当于对训练图像的像素分布进行了扰动，由于第一噪声的特征(如标准差)是已知的，VAE能够利用被扰动的像素周围的全局上下文信息进行编码，提高低码率下训练图像的信息利用率，因此，通过加噪训练图像训练VAE能够提高VAE的性能，从而提高解码图像的保真度。此外，采用加噪训练图像训练VAE能够提高VAE的特征提取功能的鲁棒性，当使用噪声信道传输码流时，能够提高解码图像的保真度。

可选地，所述第一噪声的能量小于所述训练图像的能量。

第一噪声的能量过大可能会导致图像信息被噪声掩盖，因此，在训练图像中添加能量较小的第一噪声能够避免训练图像的信息被掩盖，提高VAE的性能。

可选地，所述第一噪声为高斯噪声或泊松噪声。

可选地，所述通过所述加噪训练图像训练变分自编码器，包括：从所述加噪训练图像中提取图像特征；在所述图像特征中添加第二噪声进行量化，得到量化的图像特征，所述第二噪声为均匀噪声；确定所述量化的图像特征的特征分布；确定所述特征分布和多元分布的距离；根据所述距离训练所述变分自编码器。

分布之间的距离用来表示实际的特征分布和理论的特征分布的差距，因此，可以将分布之间的距离作为损失函数来训练VAE。此外，多元分布即多个分布的组合(如混合高斯分布)，相当于多个强度的噪声，从而能够对量化的图像特征的特征分布做更好的预测，减小编码码率。

可选地，所述图像特征包括YUV特征。

加噪训练图像通常是RGB图像，YUV特征是从RGB图像中提取的三通道特征，相比于直接从RGB图像中提取单通道特征，上述方案使得VAE能够学习到加噪训练图像潜在的高维特征，提高VAE的性能。