[发明专利]实体打标模型训练的方法、装置及电子设备

说明书

本申请实施例公开了实体打标模型的训练方法、装置及电子设备，所述方法包括：获取原始训练样本集，并利用所述原始训练样本集对实体打标模型进行训练，建立第一实体打标模型；利用所述第一实体打标模型对所述训练样本中的实体进行标签分布预测；利用所述训练样本中的实体的原始标签分布以及所预测出的标签分布中各自包含的正确信息，对所述训练样本中的实体进行重新标注，并根据重新标注后的训练样本重新对实体打标模型进行训练，建立第二实体打标模型。通过本申请实施例，能够提升模型的预测准确率。

技术领域

本申请涉及实体打标技术领域，特别是涉及实体打标模型的训练方法、装置及电子设备。

背景技术

实体打标任务是指给定实体和实体所在上下文的情况下，基于预先设定的标签集合，给实体打上对应的标签。实体打标是自然语言处理信息抽取的一个重要子任务。例如句子“刘某某是一名香港歌手”中的实体“刘某某”可以标注为“人物/歌手/香港歌手”，标注出的实体标签可以应用到很多下游任务中，例如命名实体识别、关系抽取、知识图谱扩展等。

在实际应用中，基于预先设定的标签集合，实体打标通常视为一个分类问题。随着深度神经网络的兴起，以Bi-LSTM(Long Short-Term Memory，长短期记忆网络，Bi-LSTM是指前向LSTM与后向LSTM组合)为代表的深度学习表示模型在实体打标任务中取得很好的效果。

现有的实体打标模型一般基于远程监督构造的数据集训练模型。远程监督方法通过链接待标注的实体和知识图谱中的实体，并将知识图谱中实体所对应的所有标签集合作为远程监督标注的标签集合。虽然远程监督标注方法非常高效，理论上可以构造无限多的标注数据，但是基于远程监督标注的数据通常含有大量标注不正确数据(噪音数据)，这类不正确的标注数据势必会影响模型的准确率。因此，如何更好的降低噪音数据对模型的负面影响，对提升模型的预测准确率有着重要的意义。

目前在实体打标任务中处理远程监督构造数据中噪音数据的方法中一般进行以下假设：只包含一个标签的训练数据一定是正确的，含有多个标签的数据集是包含噪音的。在该假设的基础上，一类方法是分开处理这两类数据集，例如把含有多个标签的数据作为正则数据。另外也有一些方案对含有多个标签的数据集重新标注，就是在多标签集中选取一个标签作为正确的标签。但是，上述方案的主要问题在于，预先提出的假设存在缺陷，由于知识图谱中的数据可能存在错误等情况，或者，也在链接时出现问题，以至于只有一个标签的训练数据也不是一定正确的，含有多个标签的数据集的标签集中也不一定包含正确的标签。因此，上述方案在最终的预测效果上还是有缺陷的。

为此，如何进一步提升模型的预测准确率，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了实体打标模型训练的方法、装置及电子设备，能够提升模型的预测准确率。

本申请提供了如下方案：

一种实体打标模型的训练方法，包括：

利用包含噪声标签的训练数据对实体打标模型进行训练，并利用训练得到的实体打标模型对所述训练数据中的实体进行标签分布预测；

根据所述训练数据中所包含实体的原始标签分布以及所述实体打标模型预测的标签分布，得到所述实体的伪标签；

利用所述伪标签对所述训练数据中的实体进行重标注，并利用重标注的训练数据对所述实体打标模型进行训练，得到训练后的实体打标模型。

一种实体打标模型的训练方法，包括：

获取原始训练样本集，并利用所述原始训练样本集对实体打标模型进行训练，建立第一实体打标模型；其中，所述原始训练样本集中包括多条训练样本，每条训练样本包括实体，实体关联的文本，以及实体对应的原始标签信息；

利用所述第一实体打标模型对所述训练样本中的实体进行标签分布预测；