[发明专利]一种文本引导的图像修复方法和系统

说明书

本发明公开了一种文本引导的图像修复技术方法和系统，属于计算机视觉的图像修复领域。主要包括如下步骤：1）针对于一组图像、引导文本训练集，通过一个由粗到精的图像修复模块，学习图像信息与文本信息的联合表征并生成合理的修复图像。2）对于图像修复模块生成的图像，通过一个文本重构模块，学习修复图像与引导文本间的语义相关性，推测引导文本的蒙版部分。本发明采用引导文本指导模型生成语义一致，视觉连贯且可控的图像，采用一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像，采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测，提高视觉文本一致性。

技术领域

本发明涉及图像修复领域，尤其涉及一种文本引导的图像修复方法和系统。

背景技术

图像修复是计算机视觉领域中一个基础而重要的主题，其旨在补全一个部分蒙版图像的缺失区域并输出合理图像。大多数现有的图像补全方法都是通过扩展或者借用周围区域中的信息来补全缺失区域，这些方法在缺失区域与其周围区域相似时可以起到很好的效果。然而，如果周围区域中没有足够的相关信息可以利用，则这些方法生成的图像将不尽如人意。

近年来，许多利用人为引导辅助图像修复的技术不断被提出，然而它们大多是采用基于结构的方式，例如人为添加边界线，划定参考区域及指定扩展方向等，而非基于内容的方式。这些方法在待修复区域结构不清晰的条件下具备一定的提高图像修复的能力，但是它们只能影响待修复区域的轮廓形状、大小等结构特征，而无法影响待修复区域的颜色等内容特征，其得益于结构引导又受限于结构引导，往往只能生成单一的图像，缺乏多样性。

综上，现有图像修复技术还不能有效地控制图像修复结果，在提高图像修复的准确性以及多样性方面具备一定的局限性。

发明内容

本发明的目的在于解决现有技术中的图像修复多样性不足问题，将文本引导的技术引入图像修复领域，提出了一种文本引导的图像修复方法和系统，采用文本描述指导模型生成语义一致，视觉连贯且可控的图像，提出了一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像，采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测，提高视觉文本一致性。

为了实现上述目的，本发明具体采用如下技术方案：

一种文本引导的图像修复方法，包括如下步骤：

1）获取源图像及引导文本，将源图像预处理为待修复图像序列，将引导文本预处理为引导文本特征序列；

2）建立由修复模块和重构模块组成的神经网络模型；

修复模块将待修复图像序列及引导文本特征序列作为输入，编码图像与文本特征，并解码得到待修复图像与引导文本的跨模态联合表征，最终输出修复图像序列；

重构模块将修复图像序列及随机蒙板的引导文本特征序列作为输入，生成预测引导文本；

3）将修复模块作为生成对抗网络的生成器，构建一个判别器对生成的修复图像序列进行判别，输出判别结果；

4）根据生成对抗网络的判别结果、修复模块生成的图像修复序列以及重构模块生成的预测引导文本，计算判别器和神经网络模型的多任务损失函数并更新网络参数，得到训练好的网络模型；

5）根据训练好的网络模型的修复模块，将要修复的图像与对应的引导文本特征序列作为修复模块的输入，采用自回归的方式逐步生成最终的修复图像。

本发明的另一目的在于提供一种文本引导的图像修复系统，用于实现上述的修复方法，包括：

数据获取模块：用于获取源图像及引导文本；

数据预处理模块：用于将源图像处理为待修复图像序列，将引导文本预处理为引导文本特征序列；