[发明专利]一种基于深度网络的自然语言情感分析方法

说明书

本发明提供的基于深度网络的自然语言情感分析方法，在记忆网络的基础上，语义依存信息引入来引导注意力机制的执行，包含了句子整体情感信息的上下文矩信息也被用来为当前分析对象词提供背景信息。整个模型包括嵌入模块、记忆序列构建模块、语义依存掩码注意力模块、上下文矩情感学习模块以及输出模块。在模型中，根据依存句法树得到的对象词和上下文的语义依存关系信息将引入到记忆网络中，使得每一个层的记忆序列都是动态生成的，从而引导记忆网络的多层模块中的注意力机制的执行。另外，为了引入句子的整体情感信息，即同一句子中所有对象词之间的关系信息，我们提出了一个基于上下文矩的学习任务，通过多任务学习来辅助特定对象词的情感分析。

技术领域

本发明涉及计算机自然语言处理中的情感分析领域，更具体地，涉及一种基于深度网络的自然语言情感分析方法。

背景技术

对象级情感分析任务的主要目标是对于给定句子中存在的一个或多个评价目标，分别给出每个评价目标在句子中的情感极性(如积极、消极或中立)。例如，给定句子“这家饭店的价格很便宜，但服务很差”和评价目标“价格”与“服务”，对于评价对象“价格”，情感极性为积极，而对于评价对象“服务”，情感极性则为消极。很明显，对于同一个句子中的不同对象词，情感分析结果可能不同。

随着注意力机制和记忆网络在机器翻译、阅读理解等多个自然语言处理任务上取得不错表现，融合了注意力机制和记忆网络的方法也成为了解决对象级情感分析任务的主要方法。这方面的代表性方法有MemNet(Memory Network，记忆网络)和RAM(RecurrentAttention Network on Memory，作用于记忆之上的递归注意力网络)。

MemNet模型将句子的词嵌入矩阵作为记忆序列，利用上下文和对象词的位置信息和内容信息在记忆序列上实施注意力机制，最终得到针对对象词的句子情感极性。RAM模型则在MemNet的基础上，利用LSTM(Long Short-Term Memory，长短时记忆单元)对词嵌入矩阵进行操作，得到包含句子内部结构信息的记忆序列，再用一种非线性的方式去结合递归注意力网络中每一层的输出。

现有方法利用了对象词和上下文的位置关系对记忆序列进行赋权，从而使得针对不同的对象词能够生成不同的记忆序列。然而仅仅利用位置关系去对记忆序列进行加权并不能充分利用对象词与上下文之间的联系，包括对象词与上下文之间的语义联系和当前评价对象词与句子中其他对象词之间的情感关系，具体分析如下：

缺乏了对象词与上下文的语义联系，单纯利用位置信息，会使得在语义依存树上与对象词距离不同，但文本距离相同的词受到同等程度的重视，这显然是不合理的。另外，在复杂语句中，往往存在语义联系强但文本距离相对较远的上下文词语，如果单纯地使用位置加权，会使得模型无法捕获到对对象词情感判定十分重要的、距离相对较远的上下文词语。

缺乏了对象词关系的考量，使得同个句子中判断不同对象词的操作是独立的，无法考虑到同一句子其他对象词对于当前对象词情感判断的影响。在一些包含比较、并列的多对象的复杂句子中，如果没有考虑到这些关系，单独地去判断每一个存在句子中的对象词的情感极性，显然没有比考虑这些关系，让每个对象词的情感识别任务都受到同句子中其他对象词的协助要更有帮助。

发明内容

针对现有的基于注意力机制和记忆网络的主流方法在生成记忆序列时只考虑了对象词和上下文之间的位置关系，而没有考虑到对象词和上下文之间的语义联系的问题，本发明提出一种基于深度网络的自然语言情感分析方法，本发明采用的技术方案是：

一种基于深度网络的自然语言情感分析方法，包括嵌入模块、记忆序列构建模块、语义依存掩码注意力模块、上下文矩情感学习模块以及输出模块；

所述的嵌入模块使用一个通过无监督方法预训练得到的嵌入查找表，将语料中的词转换为对应的词向量；对于不存在于查找表中的非词典词，采用了高斯分布随机初始化将其随机转换成一个低维度的词嵌入；