[发明专利]基于实体上下文判别的实体情感识别方法和系统

权利要求书

1.一种基于实体上下文判别的实体情感识别方法，其特征在于，方法包括：

步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；

步骤二：对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果，然后分别并行的执行步骤三至步骤五；

步骤三：对共享向量化模型步骤二得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；

步骤四：对共享向量化模型步骤二得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；

步骤五：对共享向量化模型步骤二得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。

2.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，在步骤二中，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。

3.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤三进一步包括：

步骤3-1：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；

步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；

步骤3-3：对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；

步骤3-4：处理下一个批次，反复迭代直到损失函数的计算值收敛。

4.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤四进一步包括：

步骤4-1：将一个批次中的输入句子输入到FinBERT模型中；

步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；

步骤4-3：将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。

5.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤五进一步包括：

步骤5-1：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；

步骤5-2：将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；

步骤5-3：通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；

步骤5-4：将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。