[发明专利]一种结合边缘信息的图像修复方法

说明书

一种结合边缘信息的图像修复方法，涉及图像修复方法领域，包括如下步骤：步骤一、将原始图像记作I_t，分别获取原始图像中的语义图像C_g、灰度图像I_g、掩膜图像M；步骤二、建立生成式对抗网络一、生成边界特征图像生成式对抗网络一的输入为边界特征图像为步骤三、建立生成式对抗网络二、生成修复后的完整图像生成式对抗网络二的输入为修复后的完整图像记为本发明具有图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹等优点。

技术领域

本发明涉及图像修复方法领域，详细讲是一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。

背景技术

Bertalmio M等人介绍了一种用于静态图像数字修复的算法，用户选择需要修复的区域后，该算法会根据选中区域周围像素的像素值，向待修复区域内扩展直至修复完成，此方法能够同步修复包括完全相异的纹理和周围场景的众多区块。这种图像修复算法并没有考虑图像的纹理、结构等特征，修复得到的图像结果仅仅利用相邻像素点的色彩信息对缺失信息的空洞进行填补，修复后的图像特征、纹理等信息容易被破坏，无法保证图像的整体性。

Vese L等人提出了一种在缺失图像信息区域同时填充纹理和结构的算法，此方法首先将图像分解为具有不同基本特征的两个函数的总和，然后使用结构和纹理填充算法分别重构每个函数，两个特征函数中第一个函数是有界变化，表示基础图像结构，而第二个函数则用于捕获纹理和可能的噪声。使用图像修复算法重建有界变化图像中丢失信息的区域，同时使用纹理合成技术填充纹理图像中的相同区域。然后重建原始图像，并添加这两个子图像得到修复后的图像，此算法将图像分解与修补和纹理合成结合在一起，从而可以同时使用适合于不同图像特征的填充算法。Dolhansky B等人在条件生成对抗网络的基础上，在对抗网络内的多个点插入额外的参考图像样例信息，从而提高图像特征描述能力，实现了对人脸的修复。Vese L等人、Dolhansky B等人提出的图像修复方法虽然考虑了图像中纹理、结构等特征信息，将这些信息用于指导图像的修复，但是仅仅依靠纹理、结构等信息无法给出图像中不同类别物体之间的边界信息，从而导致修复后的图像在孔洞边缘部分修复效果差，存在着明显的修复痕迹，导致修复后图像整体性的下降。

发明内容

本发明的目的是解决上述现有技术的不足，提供一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。

一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：

步骤一、将原始图像(摄像机等实时采集的真实的场景图像)记作I_t，分别获取原始图像中的语义图像C_g、灰度图像I_g、掩膜图像M；

步骤二、建立生成式对抗网络一、生成边界特征图像

生成式对抗网络一的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，(将数据规范到梯度变化更大的范围内，)归一化后的数据通过RELU激励函数进行非线性激励(，增强网络的非线性表述能力)，在最后一层输出层使用softmax函数；

生成式对抗网络一的输入为

式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，为灰度图像与掩膜图像取与后的结果，为语义图像与掩膜图像取与后的结果；

通过生成式对抗网络一生成的边界特征图像为C_p，