[发明专利]一种基于跨图像上下文记忆的图像修复方法

权利要求书

1.一种基于跨图像上下文记忆的图像修复方法，包括下列步骤：

第一步，建立CICM Bank，用于存储从跨图像中得到的特征图，特征图根据语义类别划分到不同的特征集，表示为B＝{F_d|d＝1,…,D}，其中F_d＝{f_d,n∈R^C|0≤n≤N}表示所有属于第d个类别的特征集，f_d,n表示第d个类别的特征集中第n个特征，这里D表示所有特征集的总数，N表示每个第d个类别的特征集中的特征总个数；

第二步，选取用以提取图像特征的卷积神经网络；

第三步，通过第二步选取的卷积神经网络得到局部缺失图像的粗略修复图像，方法为：将局部缺失图像I^m∈R^H×W×3和其掩膜M∈R^H×W输入第二步选取的卷积神经网络以提取特征,其中，H和W分别表示图像及掩膜的高和宽，输出粗略修复结果，输出包括对局部缺失图像做出粗略修复的粗略修复图像I^c和粗略语义分割结果S^c；

第四步，对粗略修复图像进行优化，得到优化图像I^r，方法为：

(1)将粗略修复图像I^c和粗略语义分割结果S^c根据掩膜M划分为未缺失部分图像I^u、缺失部分图像I^t和缺失部分语义分割结果S^t；

(2)将缺失部分图像I^t不重叠地切分为区域图像集合其中，J表示区域图像集合中区域图像的总个数；

(3)将缺失部分语义分割结果S^t根据区域图像集合中的区域图像调整大小，调整后，缺失部分语义分割结果S^t每个像素对应区域图像集合中的一个元素；

(4)根据调整大小后的缺失部分语义分割结果与区域图像集合的对应关系，为区域图像集合中的每个元素赋予对应的惟一的语义类别；

(5)根据第j个区域图像的语义类别，从CICM Bank中选出具有相同类别的特征集F_h＝{f_h,n|n＝1,…,N}；

(6)通过卷积操作，计算出区域图像的区域图像特征

(7)计算出区域图像特征与具有相同类别的特征集F_h＝{f_h,n|n＝1,…,N}之间的特征相似度集合其中N表示特征相似度的总个数；

(8)根据特征相似度集合对特征集F_h加权计算出优化区域特征计算方式如下

(9)将优化区域特征通过卷积操作计算出优化区域图像

(10)将区域图像集合中所有J个元素经过步骤(6)-(7)后，得到由J个优化区域图像组成的优化区域图像集合将优化区域图像集合按原始位置进行拼接，得到缺失部分优化图像I^q，在将缺失部分优化图像I^q与未损坏部分图像I^u结合后，得到优化图像I^r；

第五步，利用与粗略修复图像I^c相同尺寸大小的真值图像I^g和对应的真值语义分割结果S^g更新，从而对CICM Bank进行更新；

第六步，根据粗略修复图像I^c和优化图像I^r，得到最终修复图像I。

2.根据权利要求1所述的图像修复方法，其特征在于，第四步的(1)中，缺失部分图像I^t和缺失部分语义分割结果S^t中保留的区域大于掩膜M中对应的白色区域，未缺失部分图像I^u保留的区域会相应减少；未缺失部分图像I^u中保留的区域和缺失部分图像I^t中保留的区域应保证能完整的拼出粗略修复图像I^c。