[发明专利]基于CNN的方面级跨领域情感分析方法

权利要求书

1.一种基于CNN的方面级跨领域情感分析方法，其特征在于：

S1.构建方面级情感分析模型

S2.方面级跨领域情感分析

S1的步骤如下：

方面级情感分析模型的输入分为两部分，分别是方面词和上下文，对应的卷积过程也包含两部分，上下文X包含了l个单词，将每个单词转换为d维的词向量，句子X表示为d*l维的矩阵，使用d*k(k＜L)维的卷积核W_c，在上下文矩阵上进行单向平移扫描，k表示卷积核每次扫描所包含的单词的个数，每次扫描可以得到一个卷积结果c_i，如式(2-1)所示：

c_i＝f(X_i：i+k-1*W_c+b_c)       (2-1)

其中b_c是偏置，f为激活函数，*代表卷积操作，因此扫描完该句子后，得到向量c，如式(2-2)所示：

c＝[c₁，c₂，...，c_lk]      (2-2)

其中lk表示向量c的长度，在实验中设置n_k个大小为k的卷积核，当所有句子扫描结束后，可以得到一个n_k*lk维的矩阵，再对该矩阵进行最大池化处理，即取每行的最大值，此时该句子可以用一个n_k维的向量来表示；

由于方面词T可能由一或多个词构成，因此添加一个小的CNN，将方面词T转化为词嵌入矩阵，如式(2-3)，并通过卷积和池化操作，提取方面词的特征，如式(2-4)所示：

T＝[T_i，T_i+1，...，T_i+k]      (2-3)

v_i＝f_relu(T_i：i+k*W_v+b_v)     (2-4)

其中，W_v是d*k维的卷积核，b_v是偏执；

设置两组相同大小的卷积核同时扫描句子，并将结果分别输入到两个门单元中，分别对方面和情感两类信息进行了编码，得到两个向量s_i、a_i，在计算s_i时，采用tanh作为激活函数，如式(2-5)所示；

s_i＝f_tanh(X_i：i+k*W_s+b_s)      (2-5)

其中，W_s是d*k维的卷积核，b_s是偏执；

在计算a_i时，在输入中加入方面词的嵌入向量v_a，v_a由v_i做最大池化得到，并采用relu作为激活函数，如式(2-6)所示，a_i视为方面特征

a_i＝f_relu(X_i：i+k*W_a+V_av_a+b_a)    (2-6)

经过训练，通过relu函数后，模型会给与方面词较密切的情感词一个较高的权重a_i，反之，若二者关系较远，则权重可能很小或者为0，最后将s_i、a_i这两个向量对应相乘，得到的结果即为最终的特征向量o_i，如式(2-7)所示：

o_i＝s_i*a_i    (2-7)

将o_i输入到池化层，做最大池化处理，最后将得到的向量输入到全连接层，使用Softmax分类器得到各个类的概率，通过概率大小判断其类别；

S2的步骤如下：

第一步，使用源领域有标签数据训练神经网络模型，将句子X中的每个单词转换为d维的词嵌入，将句子最大长度固定为l，不足特定值的部分用0补充，超出特定值的部分截断，句子中共有L个单词，此时句子X表示为d*l维的矩阵，如式(2-8)所示：

Xs∈R^d*l       (2-8)

方面词表示为d*l维的矩阵，如式(2-9)所示：

Ts∈R^d*l      (2-9)

将句子和方面词分别输入到卷积层，利用卷积层提取句子中的特征，将卷积核W的大小设置为d*k维，k＜L，并将卷积核在句子矩阵和方面词矩阵上分别进行单向平移扫描，k表示卷积核每次扫描所包含的单词的个数，扫描后得到卷积结果c_i和v_i，如式(2-10)(2-11)所示：

c_i＝f(X_i：i+k-1*W_c+b_c)     (2-10)

v_i＝f(T_i：i+k*W_v+b_v)    (2-11)

其中b_c，b_v是偏置，f为卷积核激活函数，*代表卷积操作；

第二步，将v_i通过最大池化操作后得到的v_s和c_i一起送入到门控单元中，对方面信息和情感信息进行匹配与融合，最后得到一组情感向量O_s，如式(2-12)所示：

O_s＝[o₁，o₂，...，o_lk]      (2-12)

第三步，针对模型训练时出现的过拟合现象，使用Dropout提高神经网络结构性能，选择用最大池化操作，取出特征值中的最大值作为主要的特征，如式(2-13)所示：

max(O_s)＝(max o₁，max o₂，...，max o_lk)     (2-13)

第四步，将提取到的特征输入到全连接层，全连接层通过使用softmax分类器得到各个类的概率，通过概率的大小判断其所属的类别，公式如式(2-14)(2-15)所示：

第五步，得到源领域的分类结果后，使用少部分已标注的目标领域数据对模型进行微调，并在卷积层使用源域训练好的卷积核的权重，应用前向传播算法获取特征图，对全连接层中的权重使用随机梯度下降方法进行微调，再对目标领域进行情感分类，得到最终的分类结果，如式(2-16)(2-17)所示：