[发明专利]命名实体识别模型的训练方法、命名实体识别方法及装置

说明书

本申请实施例提供了一种命名实体识别模型的训练方法、命名实体识别方法、装置、电子设备及计算机可读存储介质。该方法包括：获取多个文本训练样本；利用多个文本训练样本对预设识别模型进行训练，直至满足预设训练条件，得到第一命名实体识别模型；其中，在利用多个文本训练样本中的当前文本训练样本对预设识别模型进行当前次训练的过程中，预设识别模型执行以下步骤：基于当前文本训练样本进行边界检测处理，以得到当前文本训练样本中的各单词对应的第一预测标签；基于当前文本训练样本进行跨度分类处理，以得到当前文本训练样本中的各当前候选命名实体对应的第二预测标签。本申请实施例能够提高嵌套实体的识别准确率。

技术领域

本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种命名实体识别模型的训练方法、命名实体识别方法、装置、电子设备及计算机可读存储介质。

背景技术

命名实体（Name Entity Recognition，NER）识别是自然语言处理的一项非常重要的基础任务，旨在自动检测文本中的命名实体，例如人名、地名、组织机构名等，是人机对话系统、机器翻译、关系抽取等的前置任务。

在相关技术中，命名实体识别主要是利用基于跨度（span）的方法来训练命名实体识别模型。

然而，经实践发现，基于跨度的方法来训练得到的命名实体识别模型，对于嵌套实体的识别准确率有待进一步提高。

发明内容

本申请实施例提供了一种命名实体识别模型的训练方法、命名实体识别方法、装置、电子设备及计算机可读存储介质，用于解决嵌套实体的识别准确率不足的技术问题，进而达到了提高嵌套实体的识别准确率的技术效果。

根据本申请实施例的一个方面，提供了一种命名实体识别模型的训练方法，该方法包括：

获取多个文本训练样本；

利用多个文本训练样本对预设识别模型进行训练，直至满足预设训练条件，得到第一命名实体识别模型，第一命名实体识别模型用于对输入的待识别文本进行边界检测处理以及跨度分类处理得到目标识别结果，目标识别结果用于指示待识别文本中的目标命名实体；

其中，在利用多个文本训练样本中的当前文本训练样本对预设识别模型进行当前次训练的过程中，预设识别模型执行以下步骤：

基于当前文本训练样本进行边界检测处理，以得到当前文本训练样本中的各单词对应的第一预测标签，第一预测标签用于指示单词为文本训练样本中的真实命名实体的边界的预测概率；

基于当前文本训练样本进行跨度分类处理，以得到当前文本训练样本中的各当前候选命名实体对应的第二预测标签，第二预测标签用于指示候选命名实体为文本训练样本中的真实命名实体的预测概率。

在一种可能的实现方式中，预设训练条件包括：

训练次数达到预设的次数阈值；和/或，

预设识别模型的当前目标损失值满足预设的损失条件，预设识别模型的当前目标损失值是通过当前文本训练样本中的各单词对应的第一预测标签和各当前候选命名实体对应的第二预测标签确定的；

损失条件包括当前目标损失值小于预设的损失值阈值和/或当前目标损失值与上一目标损失值之间的损失差值小于预设的差值阈值，上一目标损失值为预设识别模型上一次训练得到的目标损失值。

在一种可能的实现方式中，通过当前文本训练样本中的各单词对应的第一预测标签和各当前候选命名实体对应的第二预测标签确定预设识别模型的当前目标损失值，包括：

基于当前文本训练样本中的各单词对应的第一预测标签确定边界检测处理的当前第一损失值，以及基于各当前候选命名实体对应的第二预测标签确定跨度分类处理的当前第二损失值；

基于当前第一损失值和当前第二损失值确定预设识别模型的当前目标损失值。