[发明专利]一种文本引导的图像修复方法和系统

摘要

本发明公开了一种文本引导的图像修复技术方法和系统，属于计算机视觉的图像修复领域。主要包括如下步骤：1）针对于一组图像、引导文本训练集，通过一个由粗到精的图像修复模块，学习图像信息与文本信息的联合表征并生成合理的修复图像。2）对于图像修复模块生成的图像，通过一个文本重构模块，学习修复图像与引导文本间的语义相关性，推测引导文本的蒙版部分。本发明采用引导文本指导模型生成语义一致，视觉连贯且可控的图像，采用一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像，采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测，提高视觉文本一致性。