[发明专利]基于多标签的情绪-原因对抽取方法及系统

权利要求书

1.一种基于多标签的情绪-原因对抽取方法，其特征在于，包括如下步骤：

数据预处理：将数据集中的样本转化为包含多个子句的文档，并处理出情绪子句和原因子句，通过非标注语料，训练得到具有语义信息的词向量；数据预处理的具体方法为：

将数据集中的文档根据标点符号进行划分，得到每个文档中所包含的所有子句；

根据数据集中的标注，处理出情绪子句和原因子句，得到情绪-原因对；

利用word2vec工具包在微博语料库上训练得到词向量；

模型训练：将文档中子句的每个词映射成对应的词向量，输入到层次神经网络模型中训练，将训练得到的子句进行多标签预测；模型训练具体方法包括：

将文档中的每个词映射为对应的词向量，并将其作为一层双向LSTM编码，得到融合上下文词序信息的隐藏层表示；

利用注意力机制来获得加权和的子句表示向量；

整个文档包含的子句组成子句序列，将子句序列送入子句级双向LSTM中，得到每个子句的隐层状态表示向量；

模型输入为：

包含多个子句的文档表示为d＝[c₁,…,c_i,…,c_|d|]，c_i表示文档d的第i个子句；每一个子句c_i由多个词组成w_i,t表示第i个子句的第t个词；情绪-原因对抽取任务的目的是抽取文档d中一系列情绪-原因对：Pair＝{…,(c^e,c^c),…}，其中c^e是情绪子句，c^c是原因子句，(c^e,c^c)表示情绪-原因对；

模型训练具体过程包括：

2-1)将子句的词向量作为双向LSTM的输入，其中一个子句对应一个双向LSTM，双向LSTM隐层状态的输出作为自注意力层的输入；所述双向LSTM的隐层状态表示为：

其中和分别为词级双向LSTM的前向和后向表示，h_i,t表示第i个子句的第t个词的隐藏层状态；

2-2)注意力层将融合了上下文表示的隐层向量作为输入，计算输入句子中的每个词对子句的贡献程度，并以加权和的形式得到文档子句表示；利用词级注意力机制来计算得到文档子句表示，包括：

a)对于每一个隐层向量h_i,t，利用注意力机制来计算每个上下文词的隐层状态向量和它的相关性权重，计算公式为：

u_i,t＝tanh(Wh_i,t+b)

其中u表示上下文向量，用于计算权重值，W和b分别表示权重偏置向量，表示第i个子句的第j个词的权重值的转置向量，α为经过归一化后的隐层状态权重向量；

b)把这些权重和词上下文表示向量相乘并进行加权，得到融合所有词权重的第i个子句上下文信息表示：

r_i＝∑_tα_i,th_i,t

双向LSTM的输出表示为：

其中表示第i个子句的原因预测标签，表示向量拼接操作，和分别为子句级双向LSTM的前向和后向表示；

2-3)将原因预测这一辅助任务的预测标签和经过注意力层获得的子句表示拼接得到的向量，作为上层双向LSTM的输入，通过对子句进行序列编码，获得集成其他子句上下文信息的子句表示，即双向LSTM的输出；

2-4)将通过层次双向LSTM获得的子句表示和情绪预测这一辅助任务的预测标签拼接，得到的向量用于多标签预测，并通过sigmoid函数获得多标签的预测结果；多标签预测结果为：

其中表示第i个子句的情绪预测标签，表示第i个子句的多标签预测标签；

2-5)选取交叉熵作为模型训练的损失函数；

通过最小化预测概率和真实标签之间的差值来得到最终的优化后的模型，文档中所有子句的交叉熵损失为：

其中corpus表示数据集中的所有文档，|d|表示文档中的子句数，y_i和分别是子句c_i的真实和预测分布；

通过交叉熵计算的原因预测误差loss^c、情绪预测误差loss^e和情绪-原因对抽取任务误差loss再加上L2正则化项后的加权和，得到模型的最终损失loss^all：

loss^all＝λ^closs^c+λ^eloss^e+λloss+λ^r‖θ‖²

其中λ^c，λ^e，λ，λ^r分别是loss^c，loss^e，loss，L2正则项的权重，θ表示参数集；

2-6)通过反向传播算法训练模型，更新模型的所有参数，得到层次双向LSTM的多标签预测模型；

结果处理：在层次神经网络的基础上，设计情绪预测和原因预测两个辅助任务，利用它们的预测标签作为特征来指导多标签预测；

结果处理具体方法包括：

情绪预测和原因预测两个辅助任务和情绪-原因对预测任务共享第一层双向LSTM和注意力层参数，获得两者的子句隐层状态表示向量；

两个辅助任务再经过一层双向LSTM独立编码，获得融合上下文序列和文本信息的隐层状态表示；

对辅助任务的子句表示向量进行分类，分别获得情绪子句和原因子句在整个文档上的预测结果，并将两者的预测标签作为特征来指导多标签的预测。

2.一种基于权利要求1所述抽取方法的抽取系统，其特征在于，包括：

待测数据预处理模块，用于对于数据集中的每一个文档，根据标注处理出情绪和原因对，根据标点符号划分子句，通过大规模训练得到子句中每个词的向量表示；

多标签预测模块，用于训练基于多标签的层次神经网络框架，编码“词-子句-文档”之间的关系，以端到端的方式直接抽取情绪-原因对；

结果获取模块，用于根据多标签的预测结果，定位到情绪子句和对应的原因子句的位置，进而抽取出情绪-原因对。