[发明专利]一种结合注意力机制的深度学习多分类情感分析模型

权利要求书

1.一种结合注意力机制的深度学习多分类情感分析方法，其特征在于包括以下步骤：

步骤(1)数据预处理

设情感数据集表示为：G＝[(segtxt₁,y₁),(segtxt₂,y₂),...,(segtxt_N,y_N)]，其中，segtxt_i表示第i个样本，y_i则为对应的情感类别标签，N表示数据集G中样本个数，对G中样本进行数据预处理，

数据集G经预处理后，表示为G′＝[(seg₁,y₁),(seg₂,y₂),...,(seg_M,y_M)]，其中：seg_i表示为数据集G′中第i个样本，y_i则为对应的情感类别标签，M表示数据集G′中样本个数；

步骤(2)构建模型的输入

对于数据集G′中任意一个待分析样本数据(seg,y)，将其进一步细化表示为：

seg＝[w₁,w₂,...,w_i,...,w_d]^T (1)

y＝[0,0,1,...,0] (2)

其中：w_i∈R^ε是指依据词表wordList对待分析文本中第i词语的one-hot编码，ε为词表wordList的大小，d表示该文本的句长，y∈R^p是依据情感类别的one-hot编码，p表示模型待分类的类别数目，则该样本的词向量嵌入矩阵可表示为：

X＝seg*E^T (3)

其中：X∈R^d×m，X＝[x₁,x₂,...,x_d]^T为待分析文本的词向量矩阵表示，m为词向量的维度，x_i∈R^m为该文本中第i个词汇的词向量表示，E为词向量嵌入层表示；

步骤(3)构建深度学习多分类情感分析模型

深度学习多分类情感分析模型包括基于CNN网络的局部特征提取阶段和基于LSTM网络的语序关系特征提取阶段，将基于CNN网络的局部特征提取阶段的池化层结果C_Cnn和基于LSTM网络的语序关系特征提取阶段的结果C'_Rnn拼接，即向量[C_Cnn；C'_Rnn]作为模型最终提取的特征向量，然后将特征向量[C_Cnn；C'_Rnn]经过全连接层得到最终的模型输出向量其中p表示模型待分类的类别数目，

所述的基于CNN网络的局部特征提取阶段，包括以下内容：

局部特征提取阶段输入为公式3的待分析文本的词向量矩阵表示X；

局部特征提取阶段基于CNN网络，一共包括两层，即一层卷积层、一层池化层，其中：

卷积层采用n种不同尺度的卷积核对待分析文本进行卷积，且同一尺度卷积核的滤波器即神经元各k个；

池化层采用最大池化层的方法将卷积所得的向量做下采样，选出局部最优特征，因此每个滤波器通过最大池化层变为一个标量，该标量代表着该滤波器中最优的情感特征；

局部特征提取模块的输出为C_Cnn＝[c₁,c₂,...,c_nk]，即将池化层中不同尺寸的多个滤波器选取的最优特征拼接到一起C_Cnn＝[c₁,c₂,...,c_nk]作为本模块的输出，其中，C_Cnn∈R^nk，nk为卷积层中所有滤波器的个数；

所述的基于LSTM网络的语序关系特征提取阶段，包括以下内容：

多尺度CNN网络局部特征提取：将基于CNN网络的局部特征提取阶段中卷积层同一卷积尺度的k个滤波器的卷积结果拼接，得到集合Z_Cnn，然后将集合Z_Cnn中的每个向量Z_i输入到GLU门控机制中，得到的结果记为{π₁,π₂,...,π_n}，完成多尺度CNN网络局部特征的提取，

其中，Z_Cnn＝{Z₁,Z₂,...,Z_n}，Z_i为尺度为i的多个滤波器卷积结果的拼接；

其中，Z_i代表某一尺度的k个滤波器卷积结果的拼接，W₁，W₂∈R^λ×q为权重矩阵，λ表示对应权重矩阵的维度，b₁，b₂∈R^q为偏置量，σ表示sigmoid函数，π_i∈R^q，q为LSTM网络的输出维度；

然后，利用注意力机制，将多尺度CNN网络局部特征提取结果{π₁,π₂,...,π_n}融入到LSTM网络中，得到基于LSTM网络的语序关系特征提取阶段的输出结果C'_Rnn，即

其中，表示待分析文本中最后一个词语所对应的LSTM模块的输出，表示待分析文本中第一个词语所对应的LSTM模块的输出，本发明采用双向LSTM模型，即BiLSTM模型，

采用正向传播，具体计算过程如下：

d为待分析文本的长度，该文本中每一个词语顺序对应一个LSTM模块，

正向传播过程中，第t-1个LSTM模块的输出为则第t个LSTM模块的输出计算公式如下：

其中：是两个向量的点乘，也称打分函数，是用来计算前一词语的LSTM的输出和当前局部特征向量的相似度，

其中：α_t,i∈R代表特征π_i的权重，

其中：s_t-1∈R^q是多个卷积特征的加权结果，利用s_t-1代替结合当前词语的词向量x_t求得当前LSTM模块的输出公式如下：

采用反向传播，具体计算过程与正向传播一样；

步骤(4)模型训练：将训练数据输入多分类情感分析模型，采用交叉熵损失函数，结合反向传播BP算法调整参数，利用softmax回归作为分类算法，完成训练；

步骤(5)模型分析：将待分析文本输入训练完成的模型，最终输出对该文本分析后的情感分类结果。