[发明专利]一种用于NER迁移学习的方法、系统、设备及存储介质

说明书

本发明公开了一种用于NER迁移学习的方法、系统、设备及存储介质，它是针对当前多语种NER迁移学习领域遇到无法进行源语言知识迁移到目标语言的问题，提出的一种新的迁移学习方案，将原先训练好的源语言知识辅助目标语言进行学习，提升在不需要人为进行训练语料标注的情况下，达到与有训练语料标注更好的效果。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种用于NER迁移学习的方法、系统、设备及存储介质。

背景技术

命名实体识别(NER)是信息提取、问答系统、句法分析、机器翻译、面向SemanticWeb(语义网)的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要的地位。命名实体指客观存在、并可相互区别的事物，可以是具体的人、事、物，也可以是概念。命名实体的类型是根据需求定义的一种概念，用来区分命名实体的类别，以便区别对待和使用，常见的命名实体类型有人名、地名、组织名、时间、产品名等等。

命名实体识别(NER)是在文本中识别出命名实体，当前针对单一语种的命名实体识别任务，都会针对当前语种单独设计一个语种的模型，需要花费大量的人力、物力。如何能够通过迁移学习的方法，将单个语种已经学习到的知识用于新语种的学习，使新语种能够在没有人为对特定任务进行命名实体识别标注的情况下达到可用的状态，是当前工业界较为关注的领域。

现有针对多语种NER任务，进行迁移学习的方法是通过翻译模型进行平行语料翻译，然后使用多语种的预训练模型(mbert、xlm-R)等进行翻译后的平行语料训练微调，来实现跨语种的迁移学习。

但是，现有方案较为简单的使用翻译模型进行翻译后得到的平行训练语料进行训练，能够在不需要人力成本标注的情况下，训练出一个目标语种的NER模型，但是效果却不尽人意，原因在于现有方案只是通过简单的使用了获取数据的手段进行模型的训练，忽略了源语种和目标语种之间的对齐关系，导致不能将源语种的知识迁移到目标语种上，使得目标语种的模型无法达到一个较好的、可用的效果。

发明内容

本发明的目的是提供一种用于NER迁移学习的方法、系统、设备及存储介质，提升在没有人为标注数据的情况下，目标语言模型的准确率。

本发明的目的是通过以下技术方案实现的：

一种用于NER迁移学习的方法，包括：

获取已标注的源语言训练语料；

利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料；

将已标注的源语言训练语料与目标语言训练语料输入至多语种预训练模型，通过对比学习的方式进行源语言训练语料与目标语言训练语料之间对齐，通过跨越注意力的方法，将源语言训练语料的知识迁移到目标语言训练语料；利用对比学习的损失与跨越注意力的方法的损失构建损失函数对所述多语种预训练模型进行训练。

一种用于NER迁移学习的系统，用于实现前述的方法，该系统包括：

已标注的源语言训练语料单元，用于获取已标注的源语言训练语料；

翻译单元，用于利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料；

模型训练单元，用于将已标注的源语言训练语料与目标语言训练语料输入至多语种预训练模型，通过对比学习的方式进行源语言训练语料与目标语言训练语料之间对齐，通过跨越注意力的方法，将源语言训练语料的知识迁移到目标语言训练语料；利用对比学习的损失与跨越注意力的方法的损失构建损失函数对所述多语种预训练模型进行训练。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。