[发明专利]一种基于词嵌入的深度零样本分类方法

摘要

本发明公开了一种基于词嵌入的深度零样本分类方法，在学习阶段未出现的类别，依然可以在预测阶段被识别。本发明提出了基于词嵌入和深度特征提取的零样本图像学习模型，该方法通过强大的深度神经网络学习一个图像特征和语义特征联合嵌入的子空间，利用词向量的语义能力，达到图像的零样本学习目的。本发明不仅提出了深度学习方法与零样本学习结合的模型，同时还针对其结合部分嵌入空间做了大量改进，为图像零样本，亦或者其他模态的零样本学习提供参考和指导，克服传统零样本学习中样本属性定义不明确、人工特征提取等等缺点。本发明广泛用于端到端的类别预测任务中，特别适合训练样本不足甚至是缺少某一类训练样本的类别预测任务。

主权项

1.一种基于词嵌入的深度零样本分类方法，其特征在于，包括以下步骤：步骤1，输入图像训练集x_i表示图像训练集的第i张图片，1≤i≤n₁，n₁为图像训练集图片数量，训练卷积神经网络，得到卷积神经网络参数θ_x；步骤2，输入文本训练集y_j表示文本训练集的第j个单词，1≤j≤n₂，n₂为文本训练集单词数量，且n₂>n₁，训练文本神经网络，得到文本神经网络参数θ_y；步骤3，改变步骤1和步骤2的网络结构，去掉卷积神经网络和文本神经网络的顶层，各自新增一个全连接层：图像特征映射层和文本特征映射层，使卷积神经网络和文本神经网络在顶层相互连接，建立公共子空间；再次输入图像和文本训练集，通过如下损失函数L训练两者的映射层参数Wx和Wy：Fi＝f(xi；θx),Gj＝g(yj；θy),其中，F_i和G_j分别表示第i张图片和第j个单词的特征，W_x和W_y为图像特征映射层参数和文本特征映射层参数，为和的内积，和分别表示图像和单词经过映射后的公共子空间特征，sigmoid(*)为激活函数,上标T表示转置，S_ij为相似矩阵，当x_i和y_j为同一种类别时S_ij值为1，否则为0；γ和η是超参数，为F范数，e为自然底数；步骤4，通过随机梯度下降算法SGD交替迭代优化步骤3的损失函数L，使其最小；计算和并通过反向传播算法的链式法则来更新W_x、θ_x、W_y和θ_y；步骤5，将测试图像x_q输入到神经网络中得到测试图片的公共子空间特征在该空间中使用最近邻分类器直接判断测试图像类别c_q；其中，c为任意文本类别，是任意文本的特征，D(·)是求其欧几里得距离函数。