[发明专利]一种基于联合深度网络的压缩低分辨率图像复原方法

说明书

一种基于联合深度网络的压缩低分辨率图像复原方法属于数字图像/视频信号处理领域。本发明从协同处理压缩失真和降采样因素的角度出发，可完成含有压缩失真与低分辨率随机组合的退化图像复原；本发明的网络含有28卷积层，建立细长型的网络结构，根据迁移学习的思想，对预先训练好的模型采用微调的方式完成极深网络的训练收敛，解决梯度消失、梯度爆炸的问题；本发明通过特征可视化完成网络模型参数的设定，端对端的学习退化特征与理想特征的关系，且省去预处理和后处理；最后，本发明完成三个重要融合，相同尺寸特征图的融合，残差图像的融合，高频信息与高频初始估计图的融合，能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于联合深度网络的压缩低分辨率图像复原方法。

背景技术

随着多媒体技术的快速发展和广泛的应用，高质量的图像和视频已经成为一种主流的需求。视频数据的质量越高，其分析价值越大。然而，受到有限的信道带宽和存储能力等因素的影响，图像和视频均已压缩形式传输和常态存储。最常见的图像退化因素有下采样和压缩失真。下采样减少了图像的空间分辨率，而压缩失真导致图像存在块效应、振铃、以及模糊等问题。因此，针对压缩失真的低分辨率图像，研究多降质因素图像复原技术，具有重要的理论意义和实际应用价值。

图像超分辨率复原方法能够利用单帧或多帧的低分辨率图像恢复出高分辨率图像。在采用针对无压缩图像的超分辨率方法直接对压缩失真的低分辨率图像进行超分辨率复原时，图像分辨率会提高，但严重的块效应失真现象也会放大。因此，去除块效应成为退化图像复原过程中的一个重要问题。广大学者往往采用预处理、后处理的去噪方法来减少块效应，提高重建图像的主观质量，具有灵活、简单、有效等优势。

现有的传统处理方法通常将图像去压缩失真和超分辨率复原作为分别独立的任务加以解决。或者，有些方法将含有压缩失真的低分辨率图像进行依次串行处理。已有的主要方法分为基于图像增强的预处理方法和后处理方法。在预处理方法中，图像去噪、去块处理模块后级联一个超分辨率复原模块。该方法基本实现图像去块、去噪和空间分辨率提高等功能。但在去噪过程中，其不可避免地丢失的一些图像细节信息，从而降低超分辨率复原的性能。基于图像增强的后处理方法，则在超分辨率复原模块后级联一个图像去噪模块。该方法虽然实现空间分辨率放大，但在超分辨率复原过程中，压缩失真现象也随之放大，这对后续的压缩失真处理造成困难。

以上方法均为浅层学习的方法。由于学习能力有限，这些方法提取的特征是图像的底层特征，该方法的重建性能受到制约。另外，两个降质因素分别独立处理的方式，未能充分考虑两个问题的相互关系。

近年来，基于深度学习的图像复原方法受到了人们的关注。这类方法在领域知识引导及数据驱动下进行网络学习，所获得的特征在预测任务中被证实比传统的手工设计的特征具备更强的表征能力，从而提升预测的准确性。相比于传统的浅层学习方法，深度学习方法取得更优的重建质量。

基于卷积神经网络的超分辨率复原方法与基于稀疏编码的超分辨率复原方法构建等价性，将特征提取、非线性映射、图像重建三个阶段统一到一个深度卷积神经网络中，通过卷积神经网络直接学习低分辨率图像到高分辨率图像的映射关系。在去噪声问题中，该方法在改变训练样本之后，端对端的学习退化图像与复原图像之间的映射关系，可以实现去噪声功能。该方法表明深度卷积神经网络具有强大的特征表示学习能力。然而，在针对同时含有压缩失真和低分辨率降质因素的图像复原中，该方法的重建图像的平坦区域仍含有较明显的块效应。

基于卷积神经网络的去压缩失真复原方法根据去压缩失真任务的特点，在特征提取层后加入特征增强层。该方法首先通过特征提取过程中得到含噪声影响的特征，再将其映射到理想的特征空间，最后完成图像重建。该方法表明深度学习在特征学习过程中具有去压缩失真的能力，并为退化特征到理想特征的映射关系学习提供指导。然而，该方法的卷积核尺寸是为了去压缩失真任务而特定设置，未能实现空间分辨率的放大。