[发明专利]一种基于线框和边缘结构的多尺度图像修复系统

说明书

本发明提供了一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：线框与边缘抽取模块利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对待处理图像进行边缘抽取得到边缘图像；结构修复模块基于待处理图像、线框图像以及边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；图像处理模块基于结构修复图像完成图像修复任务或对象移除任务。本发明的图像修复系统针对人造的场景(如室内家具、室外建筑)有更好的图像修复性能。

技术领域

本发明属于图像生成领域，具体涉及一种基于线框和边缘结构的多尺度图像修复系统。

背景技术

图像修复是一种将图片中缺省的区域进行填充修补的任务。而图像修复的目的是确保修复的图像区域的纹理细节的真实性和合理性。并且通过不同的对图像遮掩的系统，图像修复可以为许多现实应用服务，例如图像恢复，图像编辑，对象移除等等。

作为计算机视觉近年来的研究热门，基于深度学习的图像修复算法已经有了许多有价值的工作。其中不少工作致力于通过对模型的改进模型来改善填补区域的纹理细节。例如文[1]提出了基于门控卷积的图像修复算法，有效提升了不规则遮掩的图像修复效果。文[2]提出了多尺度的注意力模型，进一步提升了图像修复的纹理效果。然而这些模型并没有考虑到缺失的结构信息。

针对缺失的结构信息，文[3]提出了一个两阶段的修复系统，首先还原缺失区域的边缘信息，再基于边缘进行图像修复上色。文[4]则是将不同算子得到的边缘梯度信息作为监督信号来进行多任务训练，以期望得到更优的效果。然而，这些辅助的边缘信息往往基于梯度运算，从而存在一些缺点，例如直线边缘往往是断断续续的，又由于依赖梯度从而丢失一些颜色不敏感的区域的结构信息。

参考文献

[1]Yu J,Lin Z,Yang J,et al.Free-form image inpainting with gatedconvolution[C]//Proceedings of the IEEE International Conference on ComputerVision.2019:4471-4480.

[2]Zeng Y,Fu J,Chao H,et al.Learning pyramid-context encoder networkfor high-quality image inpainting[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2019:1486-1494.

[3]Nazeri K,Ng E,Joseph T,et al.Edgeconnect:Generative imageinpainting with adversarial edge learning[J].arXiv preprint arXiv:1901.00212,2019.

[4]Yang J,Qi Z,Shi Y.Learning to Incorporate Structure Knowledge forImage Inpainting[C]//AAAI.2020:12605-12612.

发明内容

为解决上述问题，提供了一种充分利用了结构信息的图像修复系统，本发明采用了如下技术方案：