[发明专利]一种基于多任务学习的方面情感分析模型

权利要求书

1.一种基于多任务学习的方面情感分析模型，其特征在于，包括：方面类别检测模块和方面级情感分析模块；将两部分进行聚合得到最终的方面类别情感分析结果；

所述的方面类别检测模块依次包括处理数据的ACD嵌入层、双向长短期记忆网络层、自注意力机制层面和方面类别预测层；

所述的方面级情感分析模块依次包括处理数据的方面类别情感分析嵌入层、多层Bi-LSTM、单词情绪预测层和方面类别情绪预测层。

2.根据权利要求1所述的一种基于多任务学习的方面情感分析模型，其特征在于，在所述的ACD嵌入层中，将词语转化为向量；把经过数据预处理的句子S进行分词将其分成单词序列，然后通过嵌入矩阵Ww来获取句子的向量表示，将句子转换为向量序列。

3.根据权利要求1所述的一种基于多任务学习的方面情感分析模型，其特征在于，所述的Bi-LSTM层包含前向传播和后向传播，分别学习上下文信息的不同点，最终将隐藏状态同时连接到输出层进行输出。

4.根据权利要求1所述的一种基于多任务学习的方面情感分析模型，其特征在于，所述的方面类别预测层以自注意力机制的的权重和双向LSTM的输出作为预测层的输入，模型使用加权隐藏状态作为ACD预测的句子表示，对于第j个方面类别，如公式3.13、3.14所示：

其中W_j∈R^D×1和b_j是标量；为第j个方面类别、自注意力的句子表征；H为通过Bi-LSTM的隐藏表示。

5.根据权利要求1所述的一种基于多任务学习的方面情感分析模型，其特征在于，所述的单词情绪预测层使用第l层Bi-LSTM在第i步时的隐藏状态作为第i个词的表示，使用两个完全连通的层来产生第i个词的情绪预测pⁱ如公式3.19所示：

其中W¹∈R^d×d，W²∈R^d×3，b¹∈R^d，b²∈R³为可学习参数；为在每个时间步长i、第l个Bi-LSTM输出隐藏状态。

6.根据权利要求1所述的一种基于多任务学习的方面情感分析模型，其特征在于，所述的ACD嵌入层提供的权重，聚合单词的情绪预测，从而获得方面类别的情绪预测，对于第j个方面类别，其情绪p_j可以通过公式3.20表示：

其中，p_j∈R³，表示ACD任务提供的权值向量α_j中第i个词关于第j个方面类别的权值；pⁱ为第i个词的情绪预测。

对于模型损失函数设置，在方面类别检测任务中，损失函数定义如公式3.21所示

其中，y_j表示真实标签，是预测标签。

在方面级情感分析任务中，损失函数定义如公式3.22所示：

其中，y_jc为样本是为第j种方面类别且是第c种情感极性的情况，pjc为预测样本为第j种方面类别且是第c种情感极性的情况。

在共同训练模型完成两个任务得到的损失函数，其具体函数如公式3.23所示：

其中，β为ACSA损失的权重，其中，λ为L2正则化因子，θ为模型的参数集。