[发明专利]应用于文本细粒度实体分类的特征表示方法及相关设备

权利要求书

1.一种应用于文本细粒度实体分类的特征表示方法，其特征在于，包括：

对目标文本进行字符表示；

确定所述字符中的实体提及以及所述实体提及对应的上下文字符，将所述实体提及放回至所述上下文字符中得到上下文字符表示；

将所述上下文字符表示输入至上下文表征模型中，进行张量确定处理，得到上下文张量信息，对所述上下文张量信息进行计算处理得到所述目标文本的上下文特征，其中，所述上下文表征模型是利用训练样本对神经网络进行训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述上下文表征模型包括：Fast Text文本分类模型和BILSTM双向长短记忆模型，并在所述BILSTM双向长短记忆模型的后面的增加注意力机制；

所述对目标文本进行字符表示，包括：

利用Fast Text对所述目标文本进行静态字符表示；

所述将所述上下文字符表示输入至上下文表征模型中，进行张量确定处理，得到上下文张量信息，对所述上下文张量信息进行计算处理得到所述目标文本的上下文特征，包括：

所述上下文字符表示为静态字符表示，将所述上下文字符表示输入至BILSTM中进行上下文编码处理，获取所述实体提及在上下文的动态表示，得到所述上下文张量信息；

利用注意力机制对所述上下文张量信息进行计算处理，得到所述目标文本的上下文特征。

3.根据权利要求2所述的方法，其特征在于，所述利用注意力机制对所述上下文张量信息进行计算处理，得到所述目标文本的上下文特征，包括：

利用torch.cumsum函数对所述上下文张量信息沿着所述目标文本的上下文的维度进行累加求和，得到与所述上下文张量信息同尺寸的张量S_i，公式为：

其中，S_i为上下文张量信息C中前i个的和，C_k为上下文张量信息C中第k个值，i和k均为正整数，k∈i；

确定S_i中的尾部数量T的累计张量值S_T，以及S_i中的头部数量H的累计张量值S_H，以及C中头部数量H的累计张量值C_H，计算所述目标文本的上下文特征V_C，公式为：

4.根据权利要求1所述的方法，其特征在于，所述上下文表征模型包括：BERT模型；

所述将所述上下文字符表示输入至上下文表征模型中，进行张量确定处理，得到上下文张量信息，对所述上下文张量信息进行计算处理得到所述目标文本的上下文特征，包括：

将所述上下文字符表示输入至BERT模型进行上下文编码处理，获取所述实体提及在上下文的动态表示，得到所述上下文张量信息，对所述上下文张量信息进行计算处理得到所述目标文本的上下文特征。

5.根据权利要求4所述的方法，其特征在于，所述BERT模型包括：6层编码器和6层解码器，将所述BERT模型中的前9层进行冻结，在训练过程中对所述BERT模型的最后3层进行训练调整。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述上下文表征模型的训练过程包括：

获取人工标注张量信息的众包数据，以及机器自动标注张量信息的远程监督数据；

将所述众包数据划分为训练集、验证集和测试集；

所述众包数据和所述远程监督数据按照预定比例组成所述训练样本，所述训练样本包括：训练集、验证集、测试集和远程监督数据；

对预先构建的神经网络模型设置对应的学习率；

利用所述训练样本中的训练集和所述远程监督数据对所述神经网络模型进行训练，利用所述验证集对训练后的神经网络模型进行验证，验证完成后利用所述测试集对验证后的神经网络进行测试；

响应于确定测试通过后，将最终得到的神经网络模型作为所述上下文表征模型。

7.根据权利要求6所述的方法，其特征在于，在对所述神经网络模型进行训练过程中使用Adam优化器对所述神经网络模型进行收敛优化处理。