[发明专利]基于注意力因果解释的文本情感特征提取方法

说明书

本发明公开了基于注意力因果解释的文本情感特征提取方法，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测。本发明通过添加情感先验知识和综合句子的平均情感分数，从而增强模型提取情感特征的质量。通过信息熵的计算引导注意力更加集中地关注句子的情感特征，从而消除其余无关特征对预测的影响，增强预测的稳定性和可靠性。通过在目标函数中加入信息熵差距的约束条件，使模型学到包含因果关系的情感特征，进而从因果层面给模型的情感极性分类提供可靠的依据，增强模型情感决策的合理性。

技术领域

本发明涉及自然语言处理中的文本情感分析技术领域，尤其涉及到基于注意力因果解释的文本情感特征提取方法。

背景技术

文本情感分析是自然语言处理中具有重要价值的任务之一，通过对用户的情感进行分类，可以帮助企业决策者调整营销方案。

而传统的文本情感分析存在以下不足：

1)目前的文本情感分析方法缺乏词性层面的先验情感知识与语义层面的句子特征的有效结合，因此难以分析句子的情感否定成分以及情感转折点。

2)目前自然语言处理任务大部分采用直接微调大型预处理模型的方法，尽管这种方法对文本分类起到一定的作用，但是对文本情感分析的提升效果不大，注意力机制缺乏对情感特征的有效关注。

3)目前深度学习模型普遍不可解释，因此提取的情感特征无法评估其合理性，如果在企业的决策中应用这些无法评估合理性的注意力模型，那么产生的决策将无法判断是否具有商业价值。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能有效地融合先验情感知识和语义特征、使注意力机制的关注点更加集中在情感特征上、降低模型的冗余信息量、提高预测的稳定性、模型提取的文本情感特征具备因果可解释性的文本情感特征提取方法，解决了传统深度学习模型不可解释的缺陷，为企业的决策提供了可解释的依据。

为实现上述目的，本发明所提供的技术方案为：

基于注意力因果解释的文本情感特征提取方法，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测。

进一步地，包括以下步骤：

S1、用情感词典给数据集中的句子添加先验的情感信息，得到情感平均分数矩阵S；

S2、用双向注意力机制计算词嵌入矩阵与情感平均分数矩阵的相关关系，得到两个注意力权重分布P₁和P₂；

S3、根据信息熵筛选注意力权重分布，进行加权融合；

S4、在目标函数中加入信息熵差距的约束条件，优化目标函数，使模型学到情感极性分类的因果决策关系；

S5、通过优化的模型提取具有纵向因果决策关系的文本情感特征，用这些特征完成情感极性分类。

进一步地，所述步骤S1具体为：

首先使用情感词典给每个句子的情感词汇标记情感分数，得到一个包含所有句子词汇情感分数的二维矩阵S；

接着通过式(1)对S按行求平均，得到由每个句子的平均情感分数组成的一维矩阵

其中，s_ij∈S，s_ij表示第i个句子的第j个词汇的分数，若该词汇不属于情感词汇，则分数为0；表示第i个句子的平均情感分数；L_i表示第i个句子的情感词汇个数；

将作为模型的先验情感信息。