[发明专利]一种多模态特征融合的文本引导图像修复方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种多模态特征融合的文本引导图像修复方法。本发明方法依次包括：网络以缺损图像和相应的文本描述作为输入，分为两个阶段：粗略修复阶段和精细修复阶段；在粗略修复阶段，网络将文本特征和图像特征映射到统一的特征空间进行融合，利用文本特征的先验知识，网络产生合理的粗糙修复结果；在精细修复阶段，网络为粗糙修复结果生成更多的细粒度纹理；在网络训练中引入重构损失、对抗损失和文本引导的注意力损失来辅助网络生成更加细致、自然的结果。实验结果表明，本发明可以更好地预测缺失区域中物体的语义信息，并生成细粒度纹理，有效提升图像修复的效果。

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像修复方法，尤其涉及一种多模态特征融合的文本引导图像修复方法。

背景技术

图像修复是合成图像中缺失或损坏部分的任务。由于其大量的应用，如完成遮挡重建、恢复受损纹理等，已经成为一个热门的研究课题。图像修复的关键是保持图像的全局语义，并恢复缺失区域的真实细节纹理。大多数传统方法选择在缺失区域周围寻找相似的纹理来解决填充孔洞的问题^[1]。由于缺乏对高级语义信息的理解，这些方法很难重构出图像中的一些特殊纹理。

近年来，基于深度学习的图像修复方法取得了良好的效果。这些方法利用孔洞周围的信息来预测缺失区域。Yu等人提出了一种基于上下文注意力机制的新方法^[2]，不仅可以合成新的图像结构，而且还可以利用孔洞周围的图像特征作为参考。为了更有效地利用上下文信息，Liu等人提出了一种新的连贯语义注意力层(CSA)^[3]，通过模拟孔洞特征之间的语义相关性预测缺失信息。然而，当缺失区域包含图像的主要对象时，这些方法无法做出准确的语义推断。假如一只鸟的躯干被大面积遮挡，这些方法只能通过孔洞周围的信息生成一些类似颜色的补丁，网络并不能准确地推断出待修复区域是一只鸟。然而，在许多情况下，我们需要恢复的恰恰是丢失区域中的物体。

为了产生更合理的修复对象细节纹理，我们研究了画家在修复图像时的行为。当画家看到需要修复的图像中含有一只小鸟的头和尾巴，但是没有小鸟的躯干时，他首先会根据这个现象猜测这幅画的内容，并给出一个大致的文本描述。在绘制缺失区域时，他将以文本描述的内容作为重要参考，以完成更合理的修复结果。这不仅保证了局部像素的连续性，而且保证了图像作为一个整体的语义合理性。

在此过程的启发下，我们认为将文本描述引入图像修复任务是合理且有效的。目前，已有一些深度学习方法，可以通过文本描述直接生成一张图像。Zhang等人^[4]使用两个GAN^[5]逐步生成图像：第一阶段生成低分辨率图像，重点是图像的背景、颜色和轮廓；第二阶段使用第一阶段的输出和文本描述作为输入，并生成带有真实细节的高分辨率图像。Xu等人提出了AttnGAN^[6]，在生成过程中添加注意力机制，不仅将文本的句子特征提取为全局约束，而且还将单词嵌入作为局部约束提取到网络中。

虽然文本生成图像的方法可以生成一些合理的结果，但是这种生成是随机的，图像中物体的大小、形状、方向等都不固定，很难直接用于图像修复。因此，如何合理地将图像特征和文本特征进行多模态融合，对于高效的图像修复具有很大的研究价值。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种能够极大提升物体信息损失严重的图像恢复效果的多模态特征融合的文本引导图像修复方法。

本发明主要针对物体信息损失严重(包括物体被大面积遮挡、缺失主要语义信息等)的图像修复，以图像的文本描述作为先验，构造从粗糙到精细的多阶段深度神经网络作为图像生成器，同时引入判别器来辅助生成器学习图像修复任务，使得生成器可以预测合理的物体信息，在生成自然的图像修复结果的同时，恢复出图像中物体细粒度的纹理。