[发明专利]基于BERT和方面特征定位模型的方面级情感分析方法及系统

权利要求书

1.一种基于BERT和方面特征定位模型的方面级情感分析方法，其特征在于，包括：

S1.利用BERT模型来获得高质量的上下文信息表示和方面信息表示，以保持文本信息的完整性；

S2.构建一个基于多头注意机制的注意编码器来学习体词表征和上下文表征之间的相互作用，整合体词和上下文之间的关系，进一步区分不同句子和方面词对分类结果的贡献；所述“构建一个基于多头注意机制的注意编码器来学习体词表征和上下文表征之间的相互作用，整合体词和上下文之间的关系”，是指基于多头部注意机制实现在方面级情感分析的重要特征提取，提取上下文和目标的重要信息，具体为：首先引入转换编码器，所述转换编码器是一种基于多头注意机制和位置前馈网络的新型特征抽取器，能够在不同的特征表示子空间中学习到不同的重要信息和直接捕获序列中的长期相关性；然后通过转换编码器从BERT模型生成的方面信息表示和上下文信息表示中提取交互语义，确定对方面词的情感定性最为重要的上下文，同时以上下文的长期依赖信息和上下文感知信息作为位置前馈网络的输入数据，分别生成隐藏状态，并在均值池化操作后得到上下文交互的最终交互隐藏状态、语境与方面词的最终互动隐藏状态；其中，

所述“通过转换编码器从BERT模型生成的方面信息表示和上下文信息表示中提取交互语义，确定对方面词的情感定性最为重要的上下文，同时以上下文的长期依赖信息和上下文感知信息作为位置前馈网络的输入数据，分别生成隐藏状态，并在均值池化操作后得到上下文交互的最终交互隐藏状态、语境与方面词的最终互动隐藏状态”具体包括：

S201.通过组成转换编码器中多头注意机制的多个自注意机制从BERT模型生成的方面信息表示和上下文信息表示中映射出一个查询序列和一系列在并行子空间中捕捉不同的重要信息的键K值V；

S202.通过注意力得分函数公式f_s(Q，K，V)＝σ(f_e(Q，K))V计算得到每个捕捉到的重要信息的注意力得分，其中σ(f_e(Q，K))表示归一化指数函数，f_e(Q，K)是学习K和Q之间相关特征的能量函数，并通过以下公式计算；

其中表示比例因子，d_k是查询Q和键向量K的维数；

S203.将上下文表示和方面表示输入到注意力得分函数公式f_mh(Q，K，V)＝[a¹；a²；...；aⁱ；...；a^n-head]W_d中，分别获得上下文的长期依赖信息c_cc和上下文感知信息t_ca，以捕获上下文的长期依赖性，和确定哪些上下文对方面词的情感定性最为重要；其中，aⁱ表示第i个捕捉到的重要信息的注意力分数，[a¹；a²；…；aⁱ；…；a^n-head]表示串联向量，W_d是注意力权重矩阵，c_cc＝f_mh(E_c,E_c)，t_ca＝f_mh(E_c,E_a)；

S204.转换编码器分别以c_cc和t_ca作为位置前馈网络的输入数据，生成隐藏状态h_c和h_a，所述位置前馈网络是多层感知器的一种变体，记为PFN(h)，所述PFN(h)、h_c和h_a定义如下：

h_c＝PFN(c_cc)

h_a＝PFN(t_ca)；

PFN(h)＝ζ(hW₁+b₁)W₂+b₂；

其中，ξ(hW₁+b₁)是校正后的线性单元，b₁和b₂是偏置值，W₁和W₂表示可学习的权重参数；

S205.在对隐藏状态h_c和h_a进行均值池化操作之后，得到上下文交互的最终交互隐藏状态h_cm、语境与方面词的最终互动隐藏状态h_am；

S3.构造一个方面特征定位模型来捕获句子建模时的方面信息，并将方面的完整信息整合到交互语义中，以减少与方面词无关的干扰词的影响，提高方面词信息的完整性；

S4.融合与目标相关的上下文和目标重要信息，并在融合信息的基础上利用情绪预测因子预测不同情绪极性的概率。