[发明专利]一种基于深度学习的压缩图像识别方法

说明书

本发明公开了一种基于深度学习的压缩图像识别方法，将训练后的特征增强模块嵌入到预训练的分类模型中，得到压缩图像识别的深度神经网络模型；然后，将需要识别的压缩图像输入到深度神经网络模型中进行分类；最后，输出最终的分类结果。本发明中嵌入的特征增强模块不影响原始预训练模型的任何参数，中间添加的特征增强模块能有效地提升压缩图片的分类性能，无需耗费大量时间进行重新训练。

技术领域

本发明涉及图像压缩技术领域，尤其涉及一种基于深度学习的压缩图像识别方法。

背景技术

JPEG(Joint Photographic Experts Group)压缩技术被广泛应用于移动设备中，其设计目的是通过牺牲不易察觉的高频分量来实现比特率成本节约和视觉质量之间的折衷，在尽可能不影响人眼观感的情况下，减小图像传输的带宽和本地文件存储的体积。随着人工智能技术的发展，捕获的图像不仅用于人类的感知，还用于图像等视觉分析，如图像分类等。其中，图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中的基本问题，也是图像检测、图像分割、物体跟踪、等高层视觉任务的基础。

现有的预训练模型通常是在一个较高品质的大型清新图像数据集中训练得到的。因此，移动设备中的嵌入式视觉分析模型通常是预先训练好的，只适用于分布与训练集相接近的实际图片。然而，真实场景中使用的图片来源于多种不同的压缩比，当输入图像的压缩比超出训练集的范围时，预训练模型的性能将大大降低。造成压缩图像识别性能下降的主要原因是压缩过程中分块压缩造成的特征不均匀漂移。JPEG压缩技术将图像分成8×8块，并对每个块分别应用离散余弦变换DCT(Discrete Cosine Transform)和量化。然而，由于不同图像块的结构和统计特性不同，每个块内损失的高频分量也不尽相同，这将导致块与块之间不一致的特征漂移，进而在压缩图像上产生有空间差异的特征漂移，最终影响后续的图像识别任务，造成识别精度下降的问题。

目前解决压缩图像识别精度的典型方法是两步法，即先采用图像压缩去伪影技术，减轻压缩过程中产生的块效应等伪影，然后在增强后的图像上进行后续的图像识别。但是常见的去伪影技术并不是专门用来恢复不可感知的微小纹理的，这会影响图像的统计一致性，限制识别性能的提高。此外，去伪影中的平滑操作将导致低压缩比图像中的细节丢失，这将加剧压缩图像中的特征漂移，降低识别性能。

发明内容

针对现有技术中，压缩图像在像素空间内会产生明显的块效应，导致在后续的特征提取上会产生偏置，偏移后的特征会影响最终的图像识别性能。考虑到仅从像素空间去增强压缩图片对后续图像识别任务带来的性能提升有限。本发明提供了一种基于深度学习的压缩图像识别方法，能够即插即用地嵌入预训练的分类模型，有效提升了分类模型在压缩图像上的识别性能。

第一方面，本发明保护一种特征增强模块的构建和训练方法，包括如下步骤：

步骤1，选择需要增强的预训练分类模型以及对应的特征位置。

进一步地，所述预训练分类模型，可以使用常用的经典架构，如VGG16网络和SqueezeNet网络。当使用VGG16网络时，选择该网络的Conv2-2层作为特征增强的位置；当使用SqueezeNet网络时，选择该网络的第一层作为特征增强的位置。

步骤2，构造特征增强网络(FE-Net)；

进一步地，所述特征增强网络可以采用融合多级特征的网络，共计7层；其中，前6层采用3*3卷积，最后一层采用1*1卷积。

步骤3，输入压缩图像，根据自适应的特征偏离估计网络(FDE-Net)，输出特征偏离图；

进一步地，所述步骤3具体为：首先，将压缩图像进行DCT变换；然后，在转换后的DCT域中通过卷积神经网络对块内的DCT系数进行建模；最后，学习DCT系数分布与特征偏离程度之间的映射关系，得到特征偏离图。