[发明专利]一种用于NER迁移学习的方法、系统、设备及存储介质

权利要求书

1.一种用于NER迁移学习的方法，所述NER表示命名实体识别，其特征在于，包括：

获取已标注的源语言训练语料；

利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料；

将已标注的源语言训练语料与目标语言训练语料输入至多语种预训练模型，通过对比学习的方式进行源语言训练语料与目标语言训练语料之间对齐，通过跨越注意力的方法，将源语言训练语料的知识迁移到目标语言训练语料；利用对比学习的损失与跨越注意力的方法的损失构建损失函数对所述多语种预训练模型进行训练。

2.根据权利要求1所述的一种用于NER迁移学习的方法，其特征在于，所述已标注的源语言训练语料包括：源语言的NER标注数据。

3.根据权利要求1所述的一种用于NER迁移学习的方法，其特征在于，所述利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料包括：

利用翻译模型先将源语言训练语料转换为训练句式，再根据训练句式结合设定字典进行回填映射，获得目标语言训练语料。

4.根据权利要求1所述的一种用于NER迁移学习的方法，其特征在于，所述通过对比学习的方式进行源语言训练语料与目标语言训练语料之间对齐包括：

将源语言训练语料和目标语言训练语料中对应的句子分别记为s_i与句子s_i与的语义相同，同时，设置语义与句子s_i不同的目标语言句子，记为

将多语种预训练模型中的token平均用于表示一个句子的语义表示向量，表示为：

c_i＝mean(Mbert(s_i))

其中，Mbert()表示获取到一个句子的每一个token的嵌入向量，token表示一个词，mean表示对所有token取平均，c_i、与分别表示句子s_i、与的语义表示向量；

在每一批数据中，使用对比学习损失进行跨语种间的对齐，表示为：

其中，表示c_i与的相似度，e表示自然常数，τ表示温度系数，i、j均表示句子的序号，N表示一批数据中句子数量。

5.根据权利要求1所述的一种NER迁移学习的方法，其特征在于，所述通过跨越注意力的方法，将源语言训练语料的知识迁移到目标语言训练语料包括：

将源语言训练语料和目标语言训练语料中对应的句子串联，并加入源语言训练语料中相应句子对应的标签，对所述多语种预训练模型进行训练，训练时，逐渐剔除源语言训练语料；跨越注意力的方法的损失记为loss_{mul_cross}。

6.根据权利要求1所述的一种NER迁移学习的方法，其特征在于，该方法还包括：引入多语种预训练模型自身的预训练任务目标的损失，即掩码损失，表示为：

loss_LM＝LM_Mbert(P(w_i|w₁，...，w_i-1，w_i+1，...，w_n))

其中，w表示一个词，角标表示词的序号，n表示句子中的词数目；所述掩码损失的定义为：句子中第i个词的预测需要考虑句子中其余n-1个词的权重；

训练总损失函数为：

loss＝loss_CE+loss_{mul_cross}+loss_LM

其中，loss_CE、loss_{mul_cross}分别为对比学习的损失、跨越注意力的方法的损失。