[发明专利]基于可伸缩卷积神经网络的JPEG编码压缩图像复原的方法

说明书

本发明公开了一种基于可伸缩卷积神经网络的JPEG编码压缩图像复原方法，属于图像信号处理、人工智能领域。本发明首先提出了基于可伸缩卷积神经网络的JPEG编码压缩图像复原方法的处理框架，该框架由图像特征编码单元、图像特征解码单元、非线性特征映射单元以及用于训练可伸缩卷积神经网络的贪心损失框架组成。本发明利用贪心损失框架局部最优特性，结合深度卷积神经网络强大的泛化能力，实现了在不改变网络模型权值的前提下对网络的深度进行动态的调整。同时，该方法在JPEG编码压缩图像复原领域较传统的图像去块滤波方法在主观图像质量及PSNR、SSIM等关键技术指标上均有明显的提升。

技术领域

本发明图像信号处理、人工智能领域，具体涉及一种JPEG编码压缩图像复原方法。

背景技术

随着多媒体技术的快速发展和广泛的应用，高质量的图像和视频已经成为一种主流的需求。视频数据的质量越高，其分析价值越大。然而，受到有限的信道带宽和存储能力等因素的影响，图像和视频均己压缩形式传输和常态存储。最常见的图像退化因素有下采样和压缩失真。下采样减少了图像的空间分辨率，压缩失真导致图像存在块效应、振铃、以及模糊等问题。因此，针对压缩失真的低分辨率图像，研究多降质因素图像复原技术，具有重要的理论意义和实际应用价值。

图像超分辨率复原方法能够利用单帧或多帧的低分辨率图像恢复出高分辨率图像。在采用针对无压缩图像的超分辨率方法直接对压缩失真的低分辨率图像进行超分辨率复原时，图像分辨率会提高，但严重的块效应失真现象也会放大。

JPEG图像压缩编码技术采用基于8×8像素块的DCT变换，对变换后的DCT系数进行量化处理以消除图像空间的冗余信息，实现对原有图像的压缩存储。由于JPEG的优良的压缩性能以及较低的计算复杂度，这种方法被广泛应用于图像技术相关的各个领域，是世界上应用最为广泛的图像压缩编码技术之一。

但由于JPEG是一种有损压缩方法，通过使用更大的量化步长来实现更高的压缩率，这使得图像在获取较高的压缩率的同时，图像质量产生了较为严重的下降。由于量化操作是一种非线性操作，且图像中所有的像素块量化都是独立的，这使得相邻像素块的边界处会产生明显的灰度跳变，产生块效应，且还会像素块内部形成大量无序分布的模糊以及伪边缘(振铃效应)。这无论是对图像的观看体验还是基于图像的计算机视觉技术的应用都会产生极大的负面影响。

另一方面，随着现代处理器计算能力的高速发展，以及深度学习理论研究的迅速成熟，已经有部分基于深度卷积神经网络的方法被应用于复原JPEG压缩编码的图像。尽管这一类方法可以取得较好的复原效果，但这类方法往往计算量巨大，须占用固定的、较大的内存及计算资源，难以在多任务系统中进行实时的任务调度，这极大的限制了这类方法在实际工程课题中的应用。

发明内容

针对上述存在问题，本发明提供了一种基于可伸缩卷积神经网络的JPEG压缩编码图像的复原方法，以提升图像的视觉效果，同时，通过构建的可伸缩卷积神经网络框架允许卷积神经网络在工作的过程中动态的调整网络的深度，以适应多任务系统的实时调度。

本发明提供的技术方案为：

一种基于可伸缩卷积神经网络的JPEG压缩编码图像的复原方法，包括：

步骤1，采用固定的图像质量因子对高清图像进行JPEG压缩编码得到失真图像，并采用相同随机步长将高清图像和失真图像分割成若干组图像块，构成训练集；

步骤2，构建可伸缩卷积神经网络模型，所述可伸缩卷积神经网络模型包括图像特征编码单元、包括依次连接的n个非线性特征映射单元的映射组以及图像特征解码单元，其中，所述图像特征编码单元编码接收的彩色图像的特征，输出图像特征编码至映射组，所述映射组选择利用相邻的m个非线性特征映射单元对接收的图像特征编码进行m次映射处理，输出映射后的图像特征编码至图像特征解码单元，所述图像特征解码单元解码接收的图像特征编码，并输出解码的彩色图像，其中，m≤n，n＝1,2,3，…，N，N为自然数；