[发明专利]基于卷积变分自编码器神经网络的双层HDR图像压缩器及方法

说明书

本发明涉及基于卷积变分自编码器神经网络的双层HDR图像压缩器及方法，用于解决由于HDR图像占用存储空间较大，需要对HDR图像进行压缩存储的技术问题。具体内容包括，基础层编码生成基础层码流，基础层用于向后兼容JPEG标准,扩展层编码生成扩展层码流，扩展层主要是由卷积变分自编码器组成，基础层码流和扩展层码流经过解码后产生重建HDR图像，为了去除压缩和解压缩过程中产生的图像伪影和噪声，最后加入CNN后处理神经网络来提高图像重建质量。在主观视觉上重建图像达到了较高的清晰度，并且在客观质量指标上优于传统方法的压缩效果。

技术领域

本发明属于计算机图像处理领域，是一种基于卷积神经网络(CNN)的对HDR图像进行压缩并且重建的方法。

背景技术

近年来，HDR成像技术已得到广泛的提倡和应用，比如在视频，摄影，VR，航空和医疗图像等方面HDR技术表现很好，并将成为下一代多媒体技术之一。HDR图像，又叫做高范围动态图像(High Dynamic Range Image)，相比于LDR图像(低动态范围图像，Low DynamicRange Image，颜色范围在0-255)，HDR图像拥有更大的颜色范围，更加接近人眼视觉系统(HVS)，HDR图像在亮部和暗部拥有更清晰图像细节，但是HDR图像也需要更多的存储空间和网络带宽，因此需要对HDR图像进行压缩和重建。然而，目前传统的压缩方法存在一定的局限性，比如传统HDR图像压缩存在压缩比较低，图像重建质量低，存在压缩伪影和模糊等问题。对HDR图像进行有效并且高质量的压缩任然是HDR技术待解决的难题。

目前HDR图像压缩的方法大多是基于变换或者统计的传统图像压缩方法，主要可以分为不对LDR编码兼容的纯HDR压缩和向后兼容传统LDR编码算法的HDR压缩。因为大多数的普通显示器只能显示LDR图像，并且目前可以显示HDR图像的设备比较昂贵，所以主流的HDR压缩方法是采用对LDR编码进行向后兼容的双层结构。主流中压缩性能表现比较好的是JPEG编码委员会发布的JPEG XT(ISO/IEC 18477)图像压缩标准(A.Artusi,R.K.Mantiuk,T.Richter,and P.Korshunov,“Jpeg xt:a compression standard for hdr and wcgimages,”IEEE Signal Processing Magazine,33(2),pp.118-124,2016.)。JPEG XT标准是一种基于变换的双层结构的压缩方法，分为基础层和扩展层(又叫残差层)，基础层提供对传统JPEG标准的兼容，扩展层是为了提高图像的重建质量，由于是基于变换的压缩方法，将图像信号拆分为直流和交流成分，这样破坏了原图像的语义信息，重建图像质量不高，并且存在伪影和模糊等问题。

综上，现有的传统HDR图像压缩方法存在低压缩比，图像重建质量较低，重建图像存在模糊和伪影等问题，传统HDR图像压缩方法具有一定局限性。

发明内容

本发明是针对传统HDR图像压缩中存在的低压缩比，图像重建质量较低，重建图像存在模糊和伪影等问题，设计了一种基于卷积神经网络的双层HDR图像压缩方案。本方案既可以兼容JPEG编码标准，也克服了传统HDR图像压缩方法中存在的上述问题，保留更多的图像语义信息，并且本方案重建图像的压缩比更高，在低码率和中码率的客观图像质量优于传统方法，同时在相同码率时本发明的主观重建图像更加清晰。

本发明的HDR图像压缩整体流程图流程框架如图1所示，本发明是基于卷积神经网络的双层HDR图像压缩器，主要包括基础层，扩展层和CNN后处理模块。基础层是传统的基础层，主要由色调映射(TMO)、JPEG编码器、熵编码、逆熵编码、JPEG解码器、逆色调映射(ITMO)组成，基础层用于提供对传统JPEG编码标准的兼容性。扩展层(残差层)由残差映射、卷积变分自编码器、逆残差映射构成，其中卷积变分自编码器由CNN残差编码器，二值化量化器、算数编码、逆算数编码、CNN残差解码器组成,扩展层用于对残差图像进行编码和解码，提高HDR图像的重建质量。CNN后处理模块是基于分组卷积神经网络的方法，后处理模块是为了去除重建HDR图像中存在的压缩伪影和模糊，增加重建图像清晰度。