[发明专利]一种多模态特征融合的文本指导图像压缩噪声去除方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种多模态特征融合的文本指导图像压缩噪声去除方法。本发明方法包括：模型以压缩图像和相应的文本描述作为输入，分别提取局部特征和全局特征；基于全局特征融合，模型利用文本全局特征增强图像全局特征，极大提升重建结果的全局质量；基于局部特征融合，模型利用文本局部特征增强图像局部特征，使重建结果具有更多细粒度纹理；在网络训练中引入重构损失、对抗损失、对比损失和语义一致损失来辅助模型生成更加真实、自然的结果。实验结果表明，本发明可以有效利用文本信息来辅助压缩图像的增强，生成自然美观且与未压缩图像语义一致的重建结果，有效解决图像压缩噪声去除的问题。

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像压缩噪声去除方法，更具体地涉及一种多模态特征融合的文本指导图像压缩噪声去除方法。

背景技术

图像压缩噪声去除是图像处理的一个基础任务。其不仅提升了压缩图像的感知质量，还有利于图像处理的下游任务，已经成为了一个热门的研究课题。图像压缩噪声去除的关键在于去除图像由于压缩量化引起的失真，并保留图像的全局语义。

近年来，基于深度学习的图像压缩噪声去除方法取得了良好的效果。这些方法通过数据驱动的方式进行建模，来去除图像中明显的块效应噪声。Zhang等人^[1]设计了局部和非局部注意力学习模块，以进一步提高模型的表示能力，取得了良好效果。Li等人^[2]以量化表作为额外信息来训练模型，使模型可以实现不同压缩程度的噪声去除。然而在高压缩情况下，因为图像的语义信息损失严重，这些方法无法重建出高质量图像。

面对这一极端情况，我们考虑采用多模态学习的方法来去除压缩噪声，并生成高质量图像。我们研究了人在看到高压缩图像时的行为。当一个人看到一个被高度压缩的图像时，他很难准确地理解图像的内容。在这种情况下，对应的文本描述可以提供一些先验信息。在文本信息的帮助下，人可以猜测图像的内容，包括图像的主体及其一些细节，并根据猜测区分主体和背景。

在此过程的启发下，我们认为将文本描述引入到图像压缩噪声去除任务中是有效且合理的。目前，已有一些多模态学习方法，可以通过文本生成图像以及通过图像合成文本。Xu等人^[3]提出了基于生成对抗性网络^[4](Generative adversarial network，GAN)的AttnGAN，其采用注意机制，利用文本描述生成具有细粒度细节的图像。Shi等人^[5]构造文本引导的图结构，然后用相邻节点和上下文节点的文本和视觉特征来增强特征表示，从而获得精准文本描述。

虽然文本生成图像的方法可以生成一些合理的结果，但是这种生成具有随机性，并不能直接用于图像压缩噪声去除任务。因此，如何有效地将图像特征和文本特征进行融合，对于高效的图像压缩噪声去除任务具有极大的研究和应用价值。

发明内容

为了克服现有方法的不足，本发明的目的在于提供一种能有效去除高压缩下的图像噪声的多模态特征融合的文本指导图像压缩噪声去除方法。

本发明提供的多模态特征融合的文本指导图像压缩噪声去除方法，主要针对图像高压缩下语义信息丢失严重的情况，构造深度卷积神经网络作为生成器，以图像的文本描述作为先验，同时引入判别器、感知质量预测模块和图像语义编码模块来辅助生成器去除压缩噪声，使得生成器可以生成具有细粒度纹理的图像。

本发明方法以压缩图像和相应的文本描述作为输入，分别提取局部特征和全局特征，基于全局和局部特征分别融合，并引入重构损失、对抗损失、对比损失和语义一致损失来辅助模型生成更加真实、自然的结果。

本发明提供的多模态特征融合的文本指导图像压缩噪声去除方法，具体步骤如下。

(1)从图像对应的文本中提取全局和局部特征