[发明专利]一种基于上下文融合的丝绸纹样图像修复方法

权利要求书

1.一种基于上下文融合的丝绸纹样图像修复方法，其特征在于，包括如下步骤：

步骤1：构建丝绸纹样图像数据集；采集多幅完好的丝绸纹样图像；运用裁剪和缩放操作对丝绸纹样图像的空间分辨率进行归一化；参照典型的丝绸纹样残缺形状，从完好的丝绸纹样图像中分割出缺损区域，获得含损丝绸纹样图像；记录缺损区域的真实像素值，将其作为驱动深度神经网络训练的标签；

步骤2：含损丝绸纹样图像的第一阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为图像；生成器和鉴别器的输出分别为图像和特征图；生成器以补全缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标；

步骤3：在特征空间中进行上下文融合；将步骤2中所得的第一阶段修复结果图像转换至特征空间；将转换得到的特征图划分成特征块，并计算每个特征块的置信值；对各个含损特征块，按照置信值由高到低的顺序，在上下文特征空间中搜索多个相似的匹配特征块；通过加权求和融合多个匹配特征块，并用融合后的特征块替代原含损特征块；对完成上下文融合的含损特征块，更新其置信值；

所述步骤3中，特征提取器由VGG19网络的前若干个卷积层组成，实现图像从空域到特征空间的转换；其中，VGG19网络通过ImageNet数据集预训练，并在特征提取过程中冻结所有VGG19的网络参数；

所述步骤3中，根据含损特征块对应局部感受野内完好像素的数量占比确定初始置信值；进一步地，对各个含损特征块，通过加权平均统合其支撑域内邻域特征块的置信值，对初始置信值进行修正；置信值较高的含损特征块优先进行匹配搜索和上下文融合；

所述步骤3中，上下文特征空间的搜索范围包括完好特征块以及置信度较高的含损特征块；利用余弦函数度量特征块之间的相似性；根据相似性，选取多个匹配特征块，并对相似性值进行归一化处理，得到用于匹配特征块融合的权重值；同时，用该组权重值对匹配特征块的置信值进行加权求和，实现置信值的更新；

步骤4：含损丝绸纹样图像的第二阶段修复；搭建生成式对抗卷积神经网络，并利用步骤1中所构建的丝绸纹样图像数据集进行训练；所述生成式对抗卷积神经网络由生成器和鉴别器构成；生成器和鉴别器的输入均为步骤3中所得的特征图；生成器和鉴别器的输出分别为图像和特征图；生成器以还原缺损区域内容并欺骗鉴别器为训练目标；鉴别器以判别图像真伪为训练目标。

2.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤1中，利用JPEG压缩、空间几何变换、直方图均衡化图像处理算法对训练集中的丝绸纹样图像进行操作，扩充训练样本的数量。

3.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤2中，生成式对抗卷积神经网络的生成器由多个卷积层、空洞卷积层级联而成；其中，将第l个卷积层与倒数第l个卷积层跨层短接，实现特征图拼接，防止信息丢失。

4.如权利要求1所述的一种基于上下文融合的丝绸纹样图像修复方法，其特征在于：在所述步骤2、4中，生成式对抗卷积神经网络的鉴别器由多个卷积层级联而成；鉴别器所输出的特征图中的每个元素表示空域中不同位置局部感受野的真伪判别结果。