[发明专利]一种文本引导的图像修复方法和系统

权利要求书

1.一种文本引导的图像修复方法，其特征在于，包括以下步骤：

1)获取源图像及引导文本，将源图像预处理为待修复图像序列，将引导文本预处理为引导文本特征序列；

2)建立由修复模块和重构模块组成的神经网络模型；

修复模块将待修复图像序列及引导文本特征序列作为输入，编码图像与文本特征，并解码得到待修复图像与引导文本的跨模态联合表征，最终输出修复图像序列；

重构模块将修复图像序列及随机蒙板的引导文本特征序列作为输入，生成预测引导文本；

3)将修复模块作为生成对抗网络的生成器，构建一个判别器对生成的修复图像序列进行判别，输出判别结果；

4)根据生成对抗网络的判别结果、修复模块生成的图像修复序列以及重构模块生成的预测引导文本，计算判别器和神经网络模型的多任务损失函数并更新网络参数，得到训练好的网络模型；

5)根据训练好的网络模型的修复模块，将要修复的图像与对应的引导文本特征序列作为修复模块的输入，采用自回归的方式逐步生成最终的修复图像。

2.根据权利要求1所述的一种文本引导的图像修复方法，其特征在于，所述的修复模块包括第一编码-解码网络，以及n个并行独立的Unet编码-解码网络，所述的第一编码-解码网络由文本编码器、视觉解码器构成，Unet编码-解码网络由n个Unet编码器、n个Unet解码器构成；

由文本编码器对引导文本特征序列进行编码，获得编码后的文本特征；

由n个UNet编码器提取待修复图像序列的特征图；

由视觉解码器对编码后的文本特征与特征图进行解码，得到跨模态联合表征f^c；

将UNet编码器生成的特征图复制到对应的Unet解码器中，并采用Unet解码器对跨模态联合表征f^c进行解码，得到修复图像序列。

3.根据权利要求2所述的一种文本引导的图像修复方法，其特征在于，在待修复图像序列的特征图中添加未来掩码，当Unet解码器生成第i幅修复图像时无法获取第i幅之后的待修复图像信息。

4.根据权利要求2所述的一种文本引导的图像修复方法，其特征在于，所述重构网络包括第二编码-解码网络，以及n个并行独立的Unet编码器，所述的第二编码-解码网络由视觉编码器、文本解码器构成；

对引导文本进行随机蒙板处理；

由n个UNet编码器提取修复图像序列的修复特征图，其中使用修复模块的UNet编码网络中的后n-1个UNet编码器提取修复图像序列中前n-1个修复图像的修复特征图，并新添加一个仅用于重构模块的UNet编码器来提取修复图像序列中第n个修复图像的修复特征图；

由视觉编码器对修复特征图进行编码，获得编码后的修复特征图；

由文本解码器对随机蒙板的引导文本特征序列与编码后的修复特征图进行解码，得到跨模态联合表征f^p，并通过全连接层计算随机蒙板的引导文本中的每个蒙版位置在词汇表上的能量分布，生成预测引导文本。

5.根据权利要求4所述的一种文本引导的图像修复方法，其特征在于，所述的第一编码-解码网络和第二编码-解码网络采用基于Transformer模型的编码器与解码器，且视觉编码器与视觉解码器共享参数，文本编码器与文本解码器共享参数；所述的UNet编码器和Unet解码器均由激活函数层-卷积层-BatchNorm层构成的模块组成。

6.根据权利要求1所述的一种文本引导的图像修复方法，其特征在于，所述的UNet编码-解码网络使用带有残差连接的对称7层向下编码结构和7层向上解码结构，并使用最后一个编码层的特征图与编码后的文本特征进行交互。

7.根据权利要求1所述的一种文本引导的图像修复方法，其特征在于，使用一个模糊度递减的方框模糊滤波器生成待修复图像序列。