[发明专利]基于卷积神经网络与多注意力机制的工单文本分类算法

权利要求书

1.基于卷积神经网络与多注意力机制的工单文本分类算法，其特征在于，所述工单文本分类算法包括：

S1、训练集获取步骤，包括预先获取用于文本分类的训练集文件，包括电力投诉工单文本和对应标注好的的投诉类别标签；

S2、文本分词步骤，包括使用python中文分词组件对通过步骤S1得到的文本进行分词，将每个文本都转换为词序列；

S3、词向量训练步骤，包括使用gensim库中的word2vec组件中的skip-gram算法对通过步骤S2得到的词序列进行无监督训练，得到每个词对应的词向量；

S4、句子拆分步骤，包括对获取到的词向量进行拆分得到词序列；

S5、转换词向量步骤，包括将通过步骤S4得到的词序列中的每个词都转换为通过S3训练得到的对应的词向量；

S6、句子级卷积神经网络步骤，包括将通过步骤S5中获取的2维矩阵分别作为句子级卷积神经网络的第一层；

S7、句子级注意力机制步骤，包括通过注意力机制公式给在步骤S6中获取的中的卷积神经网络的输出的第一层中的各个词特征向量分配不同的注意力权重；

S8、句子级全连接步骤，包括将将S7句子级注意力步骤的输出向量S通过全连接神经网络作线性变换，得到句子特征向量；

S9、文档处理步骤，包括将步骤S8中获取的句子特征向量拼接成一个向量作为文档级部分的输入；

S10、分类步骤，包括将步骤S9中获取的文档特征向量进行线性变换，然后用softmax函数产生在类集合C上各个分类的概率。

2.根据权利要求1所述的基于卷积神经网络与多注意力机制的工单文本分类算法，其特征在于，所述使用gensim库中的word2vec组件中的skip-gram算法对通过步骤S2得到的词序列进行无监督训练，得到每个词对应的词向量，包括：

使用python中的gensim库中的word2vec组件中的skip-gram算法对通过步骤S2得到的词序列进行无监督训练，得到每个词对应的词向量，词向量的维数为d，skip-gram算法的原理为最大化平均对数概率如公式1所示对单词w1，w2，...，wN的词向量进行训练，其中N表示训练集中包含N个互不重复的词，

式中：c为单词w_t的上下文范围，表示词序列中词t的前c个词到词t后的c个词，t∈(1,N)；

式中：e(w_t)表示词w_t对应的词向量，所有词对应的词向量是随机初始化的，然后通过梯度下降不断迭代更新向量参数，直到目标函数公式2收敛。

3.根据权利要求1所述的基于卷积神经网络与多注意力机制的工单文本分类算法，其特征在于，所述将通过步骤S5中获取的2维矩阵分别作为句子级卷积神经网络的第一层，包括：

使用卷积窗口矩阵W∈R^h*d，h表示卷积窗口的大小，d表示词向量的维数，通过公式3对X_layer1提取文本特征，结果X_layer2是m个形状为n*d的2维矩阵，以此类推直到L层，输出的X_layerL作为卷积神经网络的最后输出，

式中W∈R^h*d为卷积窗口矩阵，b∈R^d、c∈R^d为偏差，σ为非线性激活函数，V∈R^h*d为门单元矩阵。

4.根据权利要求1所述的基于卷积神经网络与多注意力机制的工单文本分类算法，其特征在于，所述通过注意力机制公式给在步骤S6中获取的中的卷积神经网络的输出的第一层中的各个词特征向量分配不同的注意力权重，包括：

通过公式4、5给在步骤S6中获取的中的卷积神经网络的输出X_layerL＝[x_L1,x_L2,...,x_Ln]中的各个词特征向量分配不同的注意力权重，其中x_Li表示第i个词特征向量，

式中a为注意力向量，α_i为分配给词特征向量x_Li的注意力权重，n是人为设定的句子长度，s为各个词特征向量与注意力权重加权求和后得到的句子特征向量。