[发明专利]一种基于先验知识约束的图像修复方法、系统以及计算机设备

说明书

本申请涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备，其中图像修复方法，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，结合该缺失内容生成网络的隐变量求出修复后图像。

技术领域

本文涉及图像修复技术领域，具体涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备。

背景技术

图像修复技术作为数字图像处理领域一个比较大且热门的研究方向在国内外都受到了很大的关注，这一概念最早是由Beralmio等人]在2000年的Siggraph会议上提出的，图像修复概念的提出是受到了以往手工修补艺术图像的启发，至今已经有将近二十年的发展历程。Beralmio等人的缺点也较为明显，运算量大且没有考虑图像修复的完整性，修复效果相对较差。Telea在Bertalmio的基础上提出了一种快速行进算法(Fast MarchingMethod,FMM),Chan提出了一种利用欧拉-拉格朗日(Euler-Lagrange)方程和各向异性扩散的方式来保持等照度线方向的方法，称之为整体变分(total variation,TV)。为了满足视觉连通性，Chan等人对TV模型进行改进，提出基于曲率扩散(Curvature-DrivenDiffusion,CDD)的修复模型。相关算法还有，Tasi]提出的Mumford-Shah模型，Chan等人提出的Euler’s Elastica模型，Esedoglu S]等人提出的Mumford-Shah-Euler模型。基于纹理合成的图像修复算法起源于Efros]等人提出一种用于纹理合成的非参数方法。Bertalmio等人]将图像分解成两个部分：结构子图和纹理子图，结构子图利用基于扩散的方法进行修复，纹理子图则用纹理综合的方法填充。Drori等人]引入了多个尺寸和方向来找到更好的匹配补丁，提出了一种基于碎片的图像修复方法。Criminisi等人提出了一种采样填充图像的修复算法，大大的提升了图像修复的最终效果质量。Barnes等人提出的PatchMatch是近年来运用的较为广泛的图像修复算法之一，基于快速近似最近邻的思想大大提高了算法的运行效率。

近几年，深度神经网络被引入用于纹理合成和图形样式化中，Phatak等人训练由编码-生成结构和生成对抗网络]组成的上下文编码器直接预测缺失的图像区域。该算法能够预测合理的图像结构，并且速度非常快。该方法无法处理处理高分辨率图像。为了解决高分辨率图像问题，Chao Yang等人在Context-encoder]和Li and Wand所做的研究工作的基础上提出了一种基于图像内容和纹理约束的联合优化的多尺度神经补片合成的方法，该方法大大提高了视觉质量相似的想法还有Ruohan Gao等人提出的按需学习的算法，在前人的工作上的基础上，提出训练具有深度卷积神经网络的图像修复模型，利用反馈机制自我生成最需要的训练实例，从而学习可以跨难度层次推广的模型。

基于卷积神经网络的图像修复算法在传统修复算法的基础上进行了比较大的改进，也取得了不错的效果，但是仍然存在修复内容不可控、修复的效果人工痕迹严重等问题。

发明内容

本文针对上述问题提出基于感知领域特征先验约束的图像修复方法，在对缺失区域的生成时使用了条件网络自己学习到的领域特征作为先验条件约束确保能生成真实合理的图像，再通过待修复图像的背景对生成的图像背景内容进行约束以及缺失区域周围纹理信息对修复内容进行纹理约束最终得到高质量的修复图像。

一种基于先验知识约束的图像修复方法，包括：

构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；