[发明专利]基于实体上下文判别的实体情感识别方法和系统

说明书

本发明公开了一种基于实体上下文判别的实体情感识别方法和系统，提高情感倾向判别的能力。其技术方案为：通过多任务共同训练，将篇章级情感识别、命名体识别、实体情感识别三种任务通过FinBERT模型有机结合，提高了每个任务的单一准确率，以及实体情感的识别准确率。通过局部编码器中的高斯掩码层，自主学习每个实体所需要注意的上下文范围，在每次预测时同时输出该值得到模型的上下文注意范围。通过局部编码器中的协方差自注意力层，自主学习句子中每个单词对最终结果所造成的权重偏向，使模型更好地将注意力集中到应该去注意并且判断的单词上。通过采用句法依存树生成关注区域的编码矩阵，提高模型准确性。

技术领域

本发明涉及一种实体情感识别的技术，具体涉及一种基于实体所处的上下文进行判别的实体情感识别方法和系统。

背景技术

随着海量数据信息的爆发，自动化的文本处理技术得到了广泛应用和发展，其中就包括情感识别技术。实体情感识别可具体应用在舆情分析系统中的实体分析功能中，利用该功能可探知一篇文章中出现的所有实体在文章中分别处于何种情感倾向，从而得到一篇文章相应的实体级别情感分析结论。金融领域中，利用实体情感识别判断不同的机构(不限于基金、期货公司、上市公司等等)在舆情中的情感倾向变化。

基于实体的情感识别是依附于篇章段落(实体所处上下文)的情感，因为每个实体在不同的篇章段落中会表现出不同的情感倾向。现实中的大多数文本包含了很多实体，情感识别技术需要解决的是找出文本中所有的实体并对这些实体在文中的情感倾向做出判别。

一般来说，要解决该问题，需要采用基于神经网络或是隐马尔可夫(HMM)结合条件随机场(CRF)的方法对大量的标记数据进行学习，从而得到一个获取了标记数据模式的模型。最新的方法采用了注意力模型来探索实体所处上下文的情感倾向，例如引入基于注意力的LSTM的ATAE-LSTM、使用上下文动态屏蔽/加权矩阵来定位上下文信息的LCF-BERT以及考虑依赖关系标签的BERT-RGAT。但是这些算法都无法充分利用实体所处上下文的有价值的依赖关系。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于实体上下文判别的实体情感识别方法和系统，提升了基于注意力模型的深度学习模型对实体所处上下文的依赖关系感知能力，从而提高了情感倾向判别的能力。

本发明的技术方案为：本发明揭示了一种基于实体上下文判别的实体情感识别方法，方法包括：

步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；

步骤二：对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果，然后分别并行的执行步骤三至步骤五；

步骤三：对共享向量化模型步骤二得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；

步骤四：对共享向量化模型步骤二得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；