[发明专利]一种基于多任务学习的方面情感分析模型

说明书

本发明属于自然语言处理领域，涉及一种基于多任务学习的方面情感分析模型。包括：方面类别检测模块和方面级情感分析模块；将两部分进行聚合得到最终的方面类别情感分析结果；所述的方面类别检测模块依次包括处理数据的ACD嵌入层、双向长短期记忆网络层、自注意力机制层面和方面类别预测层；所述的方面级情感分析模块依次包括处理数据的ACSA嵌入层、多层Bi‑LSTM、单词情绪预测层和方面类别情绪预测层。有益效果：本发明提出了一种引入辅助任务方面类别检测ACD来进行ACSA任务的神经网络模型。结合两者模型的优势，并在公开数据集上，得到很好的性能。通过利用任务之间的共性和差异来提高性能，多任务学习已经成功的运用到深度学习任务中。

技术领域

本发明属于自然语言处理领域，涉及一种基于多任务学习的方面情感分析模型。

背景技术

方面级情感分析包括不同的子任务，在普遍的研究中，主要是针对其中的某一项子任务进行研究，在只对某一项任务进行研究时，无法同时满足各个子任务之间的联系。利用串联方式可以同时解决这个问题，但是这样会丢失端到端之间的训练数据，导致实验效果不理想，由于方面级情感分析的特点，方面词或者方面类别提取和方面级情感分析之间存在一定的信息关联，作为自然语言处理领域的研究重点，利用多任务学习的方法进行方面级情感分析越来越受到人们的广泛关注。

对于方面级情感分析，目前比较主流的多任务学习的研究方向，大致分为三部分：一是同时完成方面词抽取和方面类别抽取任务，例如在一段文字中，可是去捕获方面词和方面类别之间的语义信息；二是同时完成方面词抽取和方面词的情感分析；三是同时完成方面类别抽取和方面类别情感分析。第二和第三种任务就是建立联合机制为了避免串行方式的错误而导致的模型效果不理想，同时也可以捕获相关语义信息。

发明内容

为了克服现有方面情感分析模型的一些缺点和不足，本发明提出如下技术方案：一种基于多任务学习的方面情感分析模型，包括：方面类别检测模块和方面级情感分析模块；将两部分进行聚合得到最终的方面类别情感分析结果；

所述的方面类别检测模块依次包括处理数据的ACD嵌入层、双向长短期记忆网络层、自注意力机制层面和方面类别预测层；

所述的方面级情感分析模块依次包括处理数据的方面类别情感分析嵌入层、多层Bi-LSTM、单词情绪预测层和方面类别情绪预测层。

进一步的，在所述的ACD嵌入层中，将词语转化为向量；把经过数据预处理的句子S进行分词将其分成单词序列，然后通过嵌入矩阵Ww来获取句子的向量表示，将句子转换为向量序列。

进一步的，所述的Bi-LSTM层包含前向传播和后向传播，分别学习上下文信息的不同点，最终将隐藏状态同时连接到输出层进行输出。

进一步的，所述的方面类别预测层以自注意力机制的的权重和双向LSTM的输出作为预测层的输入，模型使用加权隐藏状态作为ACD预测的句子表示，对于第j个方面类别，如公式3.13、3.14所示：

其中W_j∈R^D×1和b_j是标量；为第j个方面类别、自注意力的句子表征；H 为通过Bi-LSTM的隐藏表示。

进一步的，所述的单词情绪预测层使用第l层Bi-LSTM在第i步时的隐藏状态作为第i个词的表示，使用两个完全连通的层来产生第i个词的情绪预测pⁱ如公式3.19所示：

其中W¹∈R^d×d，W²∈R^d×3，b¹∈R^d，b²∈R³为可学习参数；为在每个时间步长i、第l个Bi-LSTM输出隐藏状态。