[发明专利]命名实体识别数据增强的方法、装置、电子设备和介质

说明书

本发明涉及命名实体识别数据增强的方法、装置、电子设备和介质，该方法包括：获取第一数据集，将第一数据集进行扩充得到扩充数据集，将扩充数据集分为第一份扩充数据集和第二份扩充数据集；将第一份扩充数据集输入到BERT模型中得到句向量数据集；对句向量数据集聚类得到聚类结果；对聚类结果对抗训练确定簇数据集；使用GPT模型微调簇数据集得到第二数据集；使用第二数据集训练GPT模型得到预测模型；将第二份扩充数据集输入到预测模型中得到预测结果数据集；将预测结果数据集中的命名实体标签通配符替换为实体词典中的文字，确定第三数据集；将第三数据集与第一数据集合并得到最终的数据集。本申请实施例采用数据增强的方式可以减小所需要的数据量。

技术领域

本发明涉及命名实体识别数据技术领域，具体涉及一种命名实体识别数据增强的方法、装置、电子设备和介质。

背景技术

目前，命名实体识别任务难度较大，一般来讲，需要的数据量相对较大，才能能达到实际上线标准。在对命名实体识别任务的数据进行标注时，标注难度较大，成本比较高。现在技术在数据量较小的情况下，会出现指标较差的问题。

发明内容

本发明提供一种命名实体识别数据增强的方法、装置、电子设备和存储介质，能够解决上述技术问题。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种命名实体识别数据增强的方法，包括：

获取第一数据集，第一数据集包括：文字样本和文字样本对应的实体标签；

将第一数据集进行扩充得到扩充数据集，将扩充数据集分为第一份扩充数据集和第二份扩充数据集；

将第一份扩充数据集输入到预训练BERT模型中得到句向量数据集；

对句向量数据集进行聚类得到聚类结果；

对聚类结果进行对抗训练确定簇数据集；

使用预训练模型GPT微调簇数据集得到第二数据集；

使用第二数据集训练预训练模型GPT得到预测模型；

将第二份扩充数据集输入到预测模型中得到预测结果数据集；

将预测结果数据集中的命名实体标签通配符替换为实体词典中的文字，同时生成文字对应的实体标签，文字和实体标签组成第三数据集；

将第三数据集与第一数据集进行合并得到最终的数据集。

在一些实施例中，上述一种命名实体识别数据增强的方法中，将第一数据集进行扩充得到扩充数据集，包括：

确定第一数据集中的实体词典；

从第一数据集中抽取预设比例的数据集得到第四数据集，将实体词典中的实体词进行同类型替换到第四数据集中得到第五数据集，

合并第一数据集和第五数据集得到第六数据集；

将第六数据集中的实体词替换为标签得到扩充数据集；

将扩充数据集分为两份扩充数据集得到第一份扩充数据集和第二份扩充数据集。

在一些实施例中，上述一种命名实体识别数据增强的方法中，对聚类结果进行对抗训练确定簇数据集，包括：

步骤一：从聚类结果随机选取两个簇得到第一簇和第二簇；

步骤二：从第一簇中抽取第一样本数据，从第二簇中抽取第二样本数据；第一样本数据和第二样本数据组成样本对数据；

重复上述步骤一和步骤二直到数据量满足预定值得到簇数据集。