[发明专利]基于变分自编码机与对抗网络结合的零样本图像分类方法

说明书

本发明公开了一种基于变分自编码机与对抗网络结合的零样本图像分类方法，在训练模型时输入已知类别样本，由训练集样本类别映射作为条件引导，通过重建损失，生成损失，判别损失，散度损失，分类损失五种损失函数对网络进行反向传播优化参数，由未知类别的类别映射引导生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试。通过类别映射引导生成质量高的利于图像分类的样本，弥补了零样本情景中缺失未知类别训练样本的问题，将零样本学习转化成了传统机器学习中的监督学习，提高传统零样本学习的分类正确率，并在广义零样本学习中分类正确率也有明显的提高，为零样本学习提供了一种高效生成样本从而提高分类正确率的思路。

技术领域

本发明属于零样本图像分类技术领域，具体涉及一种基于变分自编码机与对抗网络结合的零样本图像分类方法。

背景技术

随着信息技术的飞速发展，模式识别是信息科学和人工智能的重要组成部分，主要应用于图像处理，语音识别，数据挖掘等学科。研究模式识别的主要目的是对样本进行分类，目前效果好的方法是监督学习，即通过大量已标注的数据进行模型的训练，然后在测试集上测试。但现实中很难获得大量标注的图片，并且有时获得的标注图片不是所需要分类的类别图片。所以零样本学习的研究具有重要的意义。零样本学习通过建立已有标注图片的类别和无法获得训练样本的类别之间的联系，从而在已知类别的图片上训练模型然后在未知类别的图片上进行分类，从而达到零样本图像分类的目的。

零样本学习的问题描述如下:

令S＝{(x,y,c(y))|x∈X_s,y∈Y_s,c(y)∈A_s}，S为已知类别的数据集，为已知类别训练样本的特征，d为特征维度，N_s为已知类别的训练样本数。Y_s＝{y₁,...,y_K}为已知类别，设已知类别的数目有K个，为已知类别对应的类别映射，d_a为属性个数。属性是建立已知类别和未知类别的高层语义关系的桥梁。除此之外，还已知U＝{(u,c(u))|u∈Y_u,c(u)∈A_u}，U为未知类别的数据集，Y_u＝{y₁,...,y_L}为未知类别，设未知类别的数目为L个，已知类别和未知类别是互斥的，即为未知类别的类别映射，未知类别的数据集在训练时只已知类别和对应的类别映射，其样本X_u是未知的。给定S和U，传统零样本学习的任务为学习一个分类器f_ZSL:X→Y_u，广义零样本学习的任务为学习一个分类器f_GZSL:X→Y_s∪Y_u。

建立类别与类别间的关系需要语义信息做为载体，语义空间比样本空间抽象度高，比类别空间抽象度低的空间，语义信息作为中间层的映射，建立起了样本空间和类别空间的联系。常见的类别映射有两种，一种是属性信息，一种是类别词向量。属性可以对样本进行描述，它可以为一些些简单事物的性质：颜色特性，形状特性等；也可以是由简单的性质组成的更为复杂的描述：有皮毛的、会游泳的等。属性通常为人工标注，设计仔细，直接与视觉特征相对应，但缺点是标注成本高，属性与属性之间有关联，在进行分类识别时不一定具有很高的区分性。文本学习通常通过自然语言处理技术从无标注的语料库中直接提取类别的文本上下文描述，该技术能将文本表示为特征向量，常见的模型包有Word2Vec。使用词向量表示类别名称，词向量之间的相似度就能够较好地代表类别名称语义上的相似度。优点是可以直接从语料库中获取，适合大规模的数据，但缺点是与视觉特征不直接相关，干扰因素多。