[发明专利]一种基于深度学习的图像去压缩伪影方法

说明书

本发明公开一种基于深度学习的图像去压缩伪影方法，能够对图像在高度压缩中产生的伪影进行有效消除。本发明的创新性主要体现在两个方面：第一，本发明运用了最新的深度学习技术，将深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题。同时，网络学习得到的底层特征和高层特征通过跳跃式连接相融合，为重建去伪影图像提供了更加丰富的特征信息，进一步提升了模型的去伪影性能。第二，本发明进一步提出了模型选择的方案，可以针对不同程度的压缩伪影，合理选择更加适合的模型进行去伪影操作。通过在两套公开数据集上进行测试，本发明的方法比目前最好的去伪影算法在性能上有了显著的提升。

技术领域

本发明涉及图像处理领域与深度学习技术，尤其涉及一种基于深度学习的图像去压缩伪影方法。

背景技术

图像数据的访问占用新闻网站和各种社交平台以及电商平台的大量流量，而图像压缩技术可以尽可能地减少从网站下载的字节数，从而提高网页加载速度或者社交平台的图片浏览速度。有损压缩方式如JPEG、WebP等技术被广泛应用于新闻网站、微信、微博等平台。这些压缩技术不仅提高客户端的响应速度，而且还能给平台节省存储成本和带宽成本。然而，图像的有损压缩会带来一定程度失真，被解码后的图像会有很多伪影，给用户带来不好的体验。例如，在JPEG和WebP等图像编码的时候，图像被分成16x16或者8x8这样的块，然后对这些块进行离散余弦变换，这样块与块之间的相关信息被忽略，从而形成解码图像的块状伪影。此外，为了能够有效压缩图像数据的字节数，在JPEG和WebP编码时会对离散余弦变换得到的系数进行量化，使得图像的高频分量被丢失，从而导致了解码图像会产生振铃伪影和边界模糊。

在JPEG和WebP等图像压缩编码过程中，可以通过一个质量系数Q来控制生成图片的质量和存储大小。这个质量系数是用在量化阶段，用来控制丢失图像高频信息的多少，一般取值在[1 100]区间。质量系数越大，意味着图像保留的高频信息越多，图像质量越高，然而带来的问题是生成的图片字节数大，压缩比很低。质量系数设置越低，图像的存储很小，压缩比很高，然而解码的图像会有很强的块状伪影、振铃伪影和边界模糊。因而，找到图像的最佳设置需要在文件大小与有损压缩带来的伪影之间权衡。例如，微信平台会将质量系数设置在50左右，而Twitter平台将质量系数设置在[30 100]之间，如果将这些平台的图像放大，可以看到很明显的压缩伪影。

为了除去这种由于图像在压缩编码过程中所产生的图像伪影，传统的解决方法是采用空域滤波器对图像进行平滑操作，例如对块边界的像素用3*3的低通滤波器进行滤波。然而，这种空域滤波器比较单一，对去除压缩伪影的效果一般，并且会使去伪影后的图像产生过度模糊。中国公开专利“基于稀疏表示的自动去块效应方法”(公开号CN102081795A，公开日为2011.06.01)采用了一种基于字典学习的方法，该算法利用稀疏表示原理，去除图像中的块状伪影，并且可以根据不同的边界强度调整去伪影强度。然而，这种去伪影方法受限于字典学习的线性重构能力，不能够有效地减少压缩图像中的非线性伪影。近年来，基于深度学习的技术迅速地发展，Dong^[1]等人提出利用3层卷积神经网络来去除JPEG压缩图像的伪影，并取得了较好的图像去压缩伪影效果。然而，由于浅层网络的非线性特征表示能力和图像重构能力有限，在某些复杂和强伪影的图像中，其去伪影并不令人满意。中国公开专利“一种基于联合深度网络的压缩低分辨率图像复原方法”(公开号CN106709875A，公开日为2017.05.24)结合了JPEG去伪影和超分辨率处理的应用。然而该专利的去JPEG压缩伪影是参照了Dong^[1]等人提出的网络模型，形成了一个循环的4层卷积神经网络，仍然是利用浅层网络来进行去伪影操作，其去伪影性能有限。

发明内容

本发明的目的是针对图像高度压缩所产生的伪影问题，提出利用一种基于深度残差卷积神经网络模型的图像去压缩伪影方法，不仅可以有效地去除压缩图像中的各种伪影，极大改善了互联网上的照片质量，同时也提升了终端用户观看图片的视觉感受。

本发明采用的技术方案是：