[发明专利]一种模型生成方法、实体识别方法、装置及存储介质

说明书

本申请提供一种模型生成方法、实体识别方法、装置及存储介质，所述方法包括：将识别语句中的每个单词输入预设的神经网络模型，以获得每个单词的类别标签对应的预测概率；根据每个标签对应的预测概率计算标签所有路径得分、真实路径得分以及最佳路径得分；根据识别语句的长度及类别标签的数量、所有路径得分的数值选取预设数量的多个目标路径得分，其中，每一目标路径得分大于所有路径得分中未被选取的路径得分；根据标签真实路径得分、所有路径得分、最佳路径得分以及目标路径得分，通过预先构建的损失函数计算对应的训练损失；根据训练损失对神经网络模型的各个参数进行迭代更新，以得到实体识别模型。

技术领域

本申请涉及实体识别技术领域，具体而言，涉及一种模型生成方法、实体识别方法、装置及存储介质。

背景技术

在生产环境中,判别模型的训练任务时,往往标签类别的数量较多,很容易出现标签不均衡的情况.这给模型的泛化能力带来了很大损害。

现有技术一般通过数据增强，对不同标签进行上采样和下采样的方式来解决上述问题，但在数据增强中上采样对低分布标签进行重复采样存在着模型过拟合的问题；同时高分布标签的下采样存在着会让模型的学习范围无法覆盖到整个数据集的问题。

发明内容

本申请实施例的目的在于提供一种模型生成方法、实体识别方法、装置及存储介质，用以解决在数据增强中上采样对低分布标签进行重复采样存在的模型过拟合的问题；同时高分布标签的下采样存在的会让模型的学习范围无法覆盖到整个数据集的问题。

第一方面，实施例提供一种模型生成方法，所述方法包括：将识别语句中的每个单词输入预设的神经网络模型，以获得每个单词的类别标签对应的预测概率；根据每个标签对应的预测概率计算标签所有路径得分、真实路径得分、以及最佳路径得分；根据所述识别语句的长度及类别标签的数量、所有路径得分的数值选取预设数量的多个目标路径得分，其中，每一所述目标路径得分大于所述所有路径得分中未被选取的路径得分；根据标签真实路径得分、所有路径得分、最佳路径得分以及目标路径得分，通过预先构建的损失函数计算对应的训练损失；根据所述训练损失对所述神经网络模型的各个参数进行迭代更新，以得到实体识别模型。

在上述设计的模型生成方法中，在神经网络模型的训练过程中，在计算得到所有路径得分，真实路径得分以及最佳路径得分之后，还会从所有路径得分数值中按照由大到小选取预设数量的路径得分，进而根据所有路径得分，真实路径得分、最佳路径得分以及选取的路径得分计算损失函数值，这样使得选取的路径得分值的大小含有更多的预测置信度信息，解决了数据标签不平衡对模型带来的影响：解决了目前在数据增强中上采样对低分布标签进行重复采用存在着的模型过拟合问题；同时解决了对高分布标签的下采样存在着会让模型的学习范围无法覆盖到整个数据集的问题。

在第一方面的可选实施方式中，所述预先构建的损失函数Loss为：

其中，β为超参，取值为0-1；S_r表示为标签真实路径得分；S_j表示为从j到n的所有路径得分；S_b表示为最佳路径得分；S_k表示为目标路径得分，k为选取的目标路径得分个数。

在上述设计的损失函数中，选取的目标路径得分越高或者分布越均匀，说明模型整体对序列标签预测的置信度更低，则此序列对应的标签属于难识别的样本，在后续的损失函数中会给其更大值，进而强化神经网络模型对难识别样本的学习程度；选取的目标路径得分越低或者目标路径的平均得分与最佳路径得分相差较大，说明模型整体对序列标签预测的置信度越高，则此路径对应的标签属于易识别标签，在后面的损失函数中会给其更小值，减弱模型对易识别的样本的学习程度，这样CRF输出的序列便包涵了更多的预测置信度信息，解决了数据标签不平衡对模型带来的影响。