[发明专利]文本数据增强方法、系统和计算机设备和存储介质

权利要求书

1.一种文本数据增强方法，其特征在于，包括以下步骤：

词向量获取步骤，从一文本训练数据集中提取实体，并利用一预训练模型从每一所述实体中获取其对应的词向量；

实体聚类步骤，通过聚类将所述词向量对应的所述实体划分至对应的类簇，构建一实体类簇字典；

实体替换步骤，选定目标文本并确定所述目标文本对应的待替换实体，根据所述实体类簇字典选取替换实体完成替换，生成增强样本数据集。

2.根据权利要求1所述的文本数据增强方法，其特征在于，所述词向量获取步骤进一步包括：

模型一次训练步骤，利用通用语料训练预设网络结构并获取预训练模型；

词表重构步骤，获取文本训练数据集中的所有实体，对所有所述实体进行编码获得实体编码，并将所述实体编码加入所述预训练模型的词表中，对所述词表进行重构；

模型二次训练步骤，根据所述文本训练数据集获取无标注文本语料，基于重构后的所述词表利用所述实体编码替换所述无标注文本中的对应实体，并根据替换后的所述无标注文本训练所述预训练模型，并保存二次训练后的所述预训练模型；

实体词向量获取步骤，基于所述词表获取所述实体编码的ID并输入至所述预训练模型，获取所述实体编码对应的向量，即获得对应所述实体的词向量。

3.根据权利要求1所述的文本数据增强方法，其特征在于，所述实体聚类步骤具体包括：

词向量类簇获取步骤，利用聚类算法将所述词向量进行聚类，将其划分为不同的类簇；

实体类簇字典构建步骤，根据所述实体和所述词向量的对应关系，得到每个所述类簇包含的所述实体，构建所述实体类簇字典。

4.根据权利要求3所述的文本数据增强方法，其特征在于，所述聚类算法设置为K-Means聚类算法、DBSCAN聚类算法和层次聚类算法其一或其组合。

5.根据权利要求1-4任意一项所述的文本数据增强方法，其特征在于，所述实体替换步骤进一步包括：

类簇确定步骤，根据所述目标文本确定所述待替换实体，根据所述实体类簇字典确定所述待替换实体所属的所述类簇；

新样本数据生成步骤，根据所述实体类簇字典，选择该类簇中其他所述实体作为替换词，使用所述替换词替换所述待替换实体，生成新样本数据；

增强样本数据集获取步骤，将所述新样本数据加入所述文本训练数据集，获得所述增强样本数据集。

6.一种实体识别方法，其特征在于，包括权利要求5所述的文本数据增强方法和实体识别步骤，所述实体识别步骤具体包括：

利用所述增强样本数据集训练实体识别神经网络模型，并利用训练后的所述实体识别神经网络模型进行实体识别抽取。

7.一种文本数据增强系统，其特征在于，包括：

词向量获取模块，从一文本训练数据集中提出实体，并利用一预训练模型从每一所述实体中获取其对应的词向量；

实体聚类模块，通过聚类将所述词向量对应的所述实体划分至对应的类簇，构建一实体类簇字典；

实体替换模块，选定目标文本并确定所述目标文本对应的待替换实体，根据所述实体类簇字典选取替换实体完成替换，生成增强样本数据集。

8.根据权利要求7所述的文本数据增强系统，其特征在于，所述词向量获取模块进一步包括：

模型一次训练单元，利用通用语料训练预设网络结构并获取预训练模型；

词表重构单元，获取文本训练数据集中的所有实体，对所有所述实体进行编码获得实体编码，并将所述实体编码加入所述预训练模型的词表中，对所述词表进行重构；

模型二次训练单元，根据所述文本训练数据集获取无标注文本语料，基于重构后的所述词表利用所述实体编码替换所述无标注文本中的对应实体，并根据替换后的无标注文本训练所述预训练模型，并保存二次训练后的所述预训练模型；

实体词向量获取单元，基于所述词表获取所述实体编码的ID并输入至所述预训练模型，获取所述实体编码对应的向量，即获得对应所述实体的词向量。