[发明专利]一种基于可控金字塔小波网络的JPEG图像压缩伪影消除方法

说明书

本发明公开了一种基于可控金字塔小波网络的JPEG图像压缩伪影消除方法，该方法首先提取与压缩等级相关的图像特征，其次使用该特征指导恢复Y通道图像，之后使用该特征和恢复的Y通道图像指导恢复CbCr通道图像，最后将图像变换至RGB空间得到最终的恢复结果。本发明提出的方法，不需要预知图像编码参数信息，能针对多个不同压缩等级的图像均具有较好的恢复效果，且每个恢复网络都只需训练单个网络模型，该模型一方面使用跳跃连接来避免训练过程中可能出现的梯度消失和梯度爆炸问题，另一方面使用递归模块共享参数策略来降低模型复杂度，保证算法高效运行。因此，本发明提出的方法具有模型简洁、参数量少、应用范围广、恢复效果显著等优势。

技术领域

本发明属于图像处理领域，具体涉及一种基于可控金字塔小波网络的JPEG图像压缩伪影消除方法。

背景技术

受传输带宽和存储容量的限制，摄影机拍摄的图像或视频在使用过程中需要进行压缩，目前以JPEG压缩为代表的有损压缩方法已广泛应用于图像处理的各个环节。由于在量化阶段会丢失图像的高频信息，经过压缩的图像会包含块效应、振铃和模糊等压缩伪影，这些压缩伪影不仅会导致图像感知质量的下降，而且会影响以压缩图像作为输入的各类计算机视觉算法的性能。因此，设计快速有效的JPEG压缩图像恢复算法，具有广阔的应用前景和实用价值。

目前，JPEG图像压缩伪影消除技术可以大致分为以下三种类型：

1)基于滤波的方法，即通过沿着空间或频率域的块边界执行滤波操作来消除压缩伪影。空间域滤波方法通常根据不同图像区域的特征，在块边界附近选择合适的滤波器进行滤波，即空间自适应滤波方法。之后，一些更复杂的滤波方法应运而生，包括图像块移位窗口滤波、非线性滤波、自适应非局部均值滤波、自适应双边滤波等。频域滤波方法主要通过调整离散余弦变换(DCT)系数来恢复图像细节信息。

2)基于逆问题优化的方法，即将图像去压缩伪影看作一个逆问题的优化和求解过程，利用图像的某些先验知识来求解原始图像。典型的图像先验包括低秩先验、量化约束先验、非局部相似性、稀疏表示先验等。部分方法使用多个先验知识来获得逆问题的最优解。基于先验知识的方法由于优化过程复杂，因此多数算法较为耗时。

3)基于机器学习的方法，即通过学习大量原始图像和压缩图像样本，获得某种图像映射/变换关系，将压缩图像映射/变换为原始图像。典型的机器学习方法是利用卷积神经网络(CNN)实现图像映射/变换，如ARCNN、TNRD、DnCNN、CAS-CNN、MemNet、S-Net、深度卷积稀疏编码(DCSC)网络、生成式对抗网络模型等。部分方法(如DMCNN、DDCN、MWCNN、DPW-SDNet等)使用CNN分别对图像的空间域和频率域进行恢复，以获得更好的图像恢复性能。

以上三类方法中，基于滤波的方法图像恢复性能较差，基于逆问题优化的方法计算复杂度较高，算法耗时。相比较而言，随着GPU并行计算技术的发展，基于机器学习的方法不仅能获得较好的图像恢复性能，且算法速度较快。然而，目前多数基于机器学习的方法需要预知压缩图像的编码信息，且仅针对部分压缩等级图像有效，从而限制了算法的应用范围。虽然DnCNN通过调整训练数据来克服以上局限，但其图像恢复性能一般，且只对灰度图像有效。此外，也有一些方法通过训练多个网络模型来实现多压缩等级图像恢复任务，然而多个网络模型意味着更多的存储空间被占用。因此，有必要提出一个统一的网络模型，该模型不需要预知压缩图像的编码信息，且能针对各种压缩等级的灰度和彩色图像有效，同时占用较少的存储空间，从而易于在小型设备上实现。

发明内容