[发明专利]一种基于跨图像上下文记忆的图像修复方法

说明书

本发明涉及一种基于跨图像上下文记忆的图像修复方法，包括下列步骤：建立CICM Bank，用于存储从跨图像中得到的特征图，特征图根据语义类别划分到不同的特征集；选取用以提取图像特征的卷积神经网络；得到局部缺失图像的粗略修复图像；对粗略修复图像进行优化，得到优化图像I^r；利用与粗略修复图像I^c相同尺寸大小的真值图像I^g和对应的真值语义分割结果S^g更新，从而对CICM Bank进行更新；根据粗略修复图像I^c和优化图像I^r，得到最终修复图像I。

技术领域

本发明属于人工智能、计算机视觉领域，涉及图像修复技术，具体为一种基于跨图像上下文记忆的图像修复方法。

背景技术

图像修复旨在根据当前图像中完整部分的信息来恢复图像缺失的部分的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字图像复原，图像编码和传输的应用中，已展开对图像修复的广泛研究。

目前大多数图像修复方法仅使用单个图像中的上下文信息。通常，修复网络从图像中学习外观表示，以捕获图像区域的视觉上下文信息。基于视觉语境，可以将未损坏区域的相关信息传播到损坏区域，从而对其内容进行推理。Liu等人[1]以及Yu等人[2]分别提出了部分卷积和门卷积的方式来修复图像中不规则的缺失部分。Liu等人[3]在特征级别对图像的纹理和结构进行修复。除了使用外观表示外，一些最新的方法还使用分割网络来预测图像中共存的对象类别，以学习高级语义表示。Song等人[4]提出了两阶段的模型，在第一阶段计算完整的语义分割结果，第二阶段利用语义分割结果进行图像修复。Liao等人[5]提出了一种联合学习模型，利用计算解码器中每层的分割结果来约束最后的修复结果。然而，这些方法都局限于单个图片。同时，单张不完整的图像缺少外观和语义信息，图像中未损坏的区域可能只会包含很少的有用信息，在这种条件下，这些修复方法的结果无法令人满意。

参考文献：

[1]Liu G,Reda F A,Shih K J,et al.Image inpainting for irregular holesusing partial convolutions[C]//Proceedings of the European conference oncomputer vision(ECCV).2018:85-100.

[2]Yu J,Lin Z,Yang J,et al.Free-form image inpainting with gatedconvolution[C]//Proceedings of the IEEE/CVF International Conference onComputer Vision.2019:4471-4480.

[3]Liu H,Jiang B,Song Y,et al.Rethinking image inpainting via amutual encoder-decoder with feature equalizations[C]//European Conference onComputer Vision.Springer,Cham,2020:725-741.

[4]Song Y,Yang C,Shen Y,et al.Spg-net:Segmentation prediction andguidance network for image inpainting[J].arXiv preprint arXiv:1805.03356,2018.

[5]Liao L,Xiao J,Wang Z,et al.Image inpainting guided by coherencepriors of semantics and textures[C]//Proceedings of the IEEE/CVF Conferenceon Computer Vision and Pattern Recognition.2021:6539-6548.