[发明专利]一种基于深度网络的自然语言情感分析方法

权利要求书

1.一种基于深度网络的自然语言情感分析方法，其特征在于，包括嵌入模块、记忆序列构建模块、语义依存掩码注意力模块、上下文矩情感学习模块以及输出模块；

所述的嵌入模块使用一个通过无监督方法预训练得到的嵌入查找表，将语料中的词转换为对应的词向量；对于不存在于查找表中的非词典词，采用了高斯分布随机初始化将其随机转换成一个低维度的词嵌入；

所述的记忆序列构建模块通过双向长短时记忆单元将嵌入模块得到的嵌入序列转换为记忆序列，转换后的记忆序列可表示其中n为序列长度；

所述的语义依存掩码注意力模块根据句子的依存句法树，抽取语义依存信息，然后根据语义依存信息来动态选择记忆序列的不同部分，引导注意力机制的执行，得到对象词情感分类损失；同时所述的上下文矩情感学习模块通过对上下文矩回归任务的协同学习来构建上下文记忆序列，并计算上下文矩回归损失；

所述的输出模块通过同时最小化对象词情感分类损失和上下文矩回归损失来进行训练，从而预测对象词的情感极性。

2.根据权利要求1所述的基于深度网络的自然语言情感分析方法，其特征在于，所述的语义依存 掩码注意力模块的工作流程包括如下步骤：

步骤1：在第l层掩码记忆序列中，每个记忆单元将根据语义依存信息进行掩码操作，即选择语义距离小于当前层数l的上下文词对应的记忆单元，具体公式如下：

其中dist(w_i,w_t)指当前对象词到上下文的语义距离,l为多层深度记忆网络的层数，l为正整数；

步骤2：在每一个计算层l生成的掩码记忆序列为通过掩码记忆序列，可以得到在第l层掩码记忆序列时，每个记忆单元的注意力分数为：

其中d_AL表示注意力机制所用的权值维度，r_l-1和v_a分别表示记忆单元、记忆网络上一层的输出以及对象词表示；

步骤3：接着通过softmax函数归一化得到每个记忆单元的分值从而得到注意力机制层的最终输出：

其中是分值，表示对应的记忆单元

步骤4：加入一个转换门和一个携带门，分别控制上一层输出r_l-1有多少被注意力进制转换后带入下一层，又有多少不通过转换，直接被携带到下一层，从而得到本层输出r_l；通过深度记忆网络的多层注意力机制非线性迭代得到针对于特定对象词的句子表示，从而得到对象词的情感分类结果，利用这个结果，进行训练步骤得到对象词情感分类损失。