[发明专利]样本数据处理的方法、装置、计算机程序产品和存储介质

权利要求书

1.一种样本数据处理方法，其特征在于，包括：

获取待处理的文本集，所述文本集包括一个以上样本文本；

确定所述样本文本的句法结构，并确定所述句法结构在所述文本集中的数量占比；

将所述样本文本输入预先训练的命名实体识别模型，经所述命名实体识别模型输出所述样本文本中包括的字的边界标签及所述边界标签的置信度；

基于所述边界标签确定所述样本文本中包括的实体，并确定所述实体的F值以及类型标签；

确定所述实体的类型标签在所述文本集中的数量占比；

基于所述实体的类型标签在所述文本集中的数量占比、所述实体的F值以及所述句法结构在所述文本集中的数量占比，确定所述样本文本的支持度；

基于所述边界标签的置信度，确定所述样本文本的混淆度；

基于所述样本文本的支持度、混淆度、预设的支持度阈值和混淆度阈值，从所述文本集中获取目标样本文本。

2.根据权利要求1所述的方法，其特征在于，基于所述边界标签的置信度，确定所述样本文本的混淆度，包括：

基于所述边界标签的置信度，确定所述字的信息熵；

将所述实体中包括的字的信息熵的均值确定为所述实体的混淆度；

将所述样本文本中包括的实体的混淆度的均值确定为所述样本文本的混淆度。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括确定所述实体的类型标签的置信度；

基于所述边界标签的置信度，确定所述字的信息熵，包括：

基于所述字所属的实体的类型标签的置信度调整所述边界标签的置信度，得到调整后的边界标签的置信度；

基于所述调整后的边界标签的置信度，确定所述字的信息熵。

4.根据权利要求1至3之一所述的方法，其特征在于，所述样本文本的支持度与所述句法结构在所述文本集中的数量占比正相关，所述样本文本的支持度与第一数值正相关，且所述样本文本的支持度与第二数值负相关，其中，所述第一数值为所述样本中包括的各所述实体的类型标签在所述文本集中的数量占比的均值，所述第二数值为所述样本文本中包括的各所述实体的F值的均值。

5.根据权利要求1至4之一所述的方法，其特征在于，所述句法结构经由如下步骤确定：

对所述样本文本进行分词，得到分词序列；

确定所述分词序列中的词的词性；

基于所述词性，对所述分词序列进行句法分析，得到所述句法结构。

6.根据权利要求1至5之一所述的方法，其特征在于，所述实体的类型标签经由如下步骤得到：

利用Elastic Search对所述实体进行实体类型召回，得到所述实体的类型标签。

7.根据权利要求1至6之一所述的方法，其特征在于，所述方法还包括：

基于所述目标样本文本，构建样本集；

基于所述样本集，训练预先构建的初始序列标注模型，得到训练后的序列标注模型。