[发明专利]实体词提取模型的训练方法、装置、设备和存储介质

权利要求书

1.一种实体词提取模型的训练方法，其特征在于，包括以下步骤：

获取待训练的实体词提取模型；其中，所述实体词提取模型包括长文本编码Longformer子模型和条件随机场CRF子模型；

采用经过掩码的第一训练语料作为输入语料，对所述实体词提取模型中的Longformer子模型进行第一训练，以使经过第一训练的所述Longformer子模型输出语义特征；

采用经过实体词的词性信息标注的第二训练语料作为输入语料，对所述实体词提取模型中所述经过第一训练的Longformer子模型，以及所述CRF子模型进行第二训练，以使经过第二训练的CRF子模型根据经过第二训练的Longformer子模型所输出的语义特征输出实体词。

2.根据权利要求1所述的训练方法，其特征在于，所述采用经过实体词标注的第二训练语料作为输入语料，对所述实体词提取模型中所述经过第一训练的Longformer子模型，以及所述CRF子模型进行第二训练，包括：

将所述第二训练语料输入所述经过第一训练的Longformer子模型，得到所述第二训练语料中各字符的语义特征；

将所述第二训练语料各字符的语义特征输入所述CRF子模型，得到所述CRF子模型输出的各字符的词性信息；所述词性信息，用于指示对应字符是否属于实体词；

根据所述CRF子模型输出的各字符的词性信息，以及所述第二训练语料中标注的各字符的词性信息之间的差异，调整所述CRF子模型和所述经过第一训练的Longformer子模型的模型参数。

3.根据权利要求1或2所述的训练方法，其特征在于，所述词性信息，包括实体词开始标识、实体词结束标识、实体词中间字符标识和非实体词标识中的一个或多个组合；

其中，所述实体词开始标识，用于指示对应字符属于实体词的首个字符；

所述实体词结束标识，用于指示对应字符属于实体词的最后一个字符；

所述实体词中间字符标识，用于指示对应字符属于实体词的中间字符；

所述非实体词标识，用于指示对应字符不属于实体词。

4.根据权利要求1所述的训练方法，其特征在于，所述采用经过掩码的第一训练语料作为输入语料，对所述实体词提取模型中的Longformer子模型进行第一训练，包括：

将所述经过掩码的第一训练语料的各字符输入所述Longformer子模型的特征提取层进行特征提取，并将提取的各字符的特征输入所述Longformer子模型的注意力层进行局部注意力预测，得到各字符的局部注意力权重；

将各字符的所述局部注意力权重输入所述Longformer子模型的输出层，以得到所述输出层根据所述局部注意力权重确定的所述第一训练语料中各字符的第一语义特征；

根据各字符的所述第一语义特征，预测所述第一训练语料中的掩码字符，得到第一字符；

根据所述第一字符与所述第一训练语料的实际掩码字符之间的差异，对所述Longformer子模型进行预训练。

5.根据权利要求4所述的训练方法，其特征在于，所述根据所述第一字符与所述第一训练语料的实际掩码字符之间的差异，对所述Longformer子模型进行预训练之后，还包括：

将所述经过掩码的第一训练语料输入预训练后的Longformer子模型的特征提取层进行特征提取，并将提取的各字符的特征输入所述预训练后的Longformer子模型的注意层进行局部注意力预测和全局注意力预测，得到各字符的局部注意力权重和全局注意力权重；

将各字符的所述局部注意力权重和全局注意力权重输入所述预训练后的Longformer子模型的输出层，以得到所述输出层根据所述局部注意力权重和所述全局注意力权重确定的第二语义特征；

根据所述第二语义特征，预测所述第一训练语料中的掩码字符，得到第二字符；

根据所述第二字符，与所述实际掩码字符之间的差异，对所述Longformer子模型进行模型参数调整。