[发明专利]一种基于素描标注信息的生成对抗迁移学习方法

说明书

本发明公开了一种基于素描标注信息的生成对抗迁移学习方法，获取初始素描图，构造形式为“源域图像‑源域图像边缘标注图”的成对数据集；构造基于素描标注信息的边缘分割深度网络并训练；基于矩阵范数选择目标域样本；构造并训练基于素描标注信息的生成对抗迁移学习网络，该网络包括深度生成器网络、深度判别器网络、基于素描标注信息的边缘分割深度网络和深度分类器网络；输入目标域图像，得到目标域图像的分类结果；本发明利用源域数据及目标域数据结构的相似性，通过结构约束，生成确定标签的符合目标域分布的样本，从而进行标签的传递，实现跨域分类。提高了分类准确率，实现了跨域分类任务。

技术领域

本发明属于图像分类技术领域，具体涉及一种基于素描标注信息的生成对抗迁移学习方法，可用于跨域图像分类。

背景技术

深度学习在图像分类问题上已经取得了显著的成果，在传统的深度学习框架下，学习的任务就是在给定有标签的训练数据集上学习到一个分类网络，参数越多的模型复杂度越高，也越能解决更为复杂的分类问题，但实际上，随着大数据时代的来临，获取数据的成本越来越低，标定数据标签的成本却没有降低，使得深度学习网络在处理这部分数据时遇到阻碍。深度迁移学习打破了传统的框架，利用已标记好类别的数据域，通过寻找两个域间的相似性，进行知识的迁移，从而完成标签的传递。

目前的深度迁移学习方法主要分为基于微调和领域自适应两种。基于微调的深度迁移学习主要是利用已训练好的成熟网络，针对特定的任务，固定网络相关层，修改输出层以满足任务的需要。由于预训练好的模型都是在较大数据集上进行的，无形中扩充了训练数据，使得训练的模型更具泛化力，但其无法解决训练数据与测试数据分布不相同的问题。领域自适应则通过提取域不变特征来达成目的，即假设数据分布不一致，但在特征空间中分布一致来完成迁移任务。该类方法存在的问题是，由于特征空间的抽象性，其实无法判断提取的特征是否为域不变特征。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于素描标注信息的生成对抗迁移学习方法，通过约束源域和目标域间的结构信息，利用生成对抗网络，生成确定标签的符合目标域分布并与源域边缘结构相似的样本，从而实现目标域的图像分类。

本发明采用以下技术方案：

一种基于素描标注信息的生成对抗迁移学习方法，包括如下步骤：

S1、获取源域图像及其对应的边缘标注图s为源域，K_s为源域图像的数量，其中R表示实数域，构造形式为“源域图像-源域图像边缘标注图”的成对数据集

S2、构造基于素描标注信息的边缘分割深度网络T，将步骤S1中的成对数据集分批次输入边缘分割深度网络T中进行训练，每批次的大小为K；

S3、基于矩阵F范数，从目标域图像中选取和源域图像相似的图像，t为目标域，K_t为目标域图像数量，得到新的K_t'个目标域图像及对应的伪标签

S4、构造基于素描标注信息的生成对抗迁移学习网络，其中，对抗迁移学习网络包括深度生成器网络G、深度判别器网络D、基于素描标注信息的边缘分割深度网络T和深度分类器网络C，将源域图像及对应的标签和步骤S3中得到的目标域图像及对应的伪标签分批次输入对抗迁移学习网络中进行训练，每批次的大小为K；

S5、将所有K_t个目标域图像输入步骤S4中网络的深度分类器网络C得到目标域图像的分类结果。

具体的，步骤S1中，利用Primal Sketch算法得到源域图像对应的初始素描图，初始素描图的大小和源域图像大小相同，构造与第k张源域图像初始素描图大小一致的矩阵矩阵中对应于素描线段上素描点位置处的元素置为1，矩阵中其它位置处的元素置为0，将矩阵作为边缘标注图，从而获得形式为“源域图像-源域图像边缘标注图”的成对数据集其中，

具体的，步骤S2具体为：