[发明专利]语料样本集合的构建方法、计算设备及计算机存储介质

权利要求书

1.一种语料样本集合的构建方法，包括：

步骤S1，对语料库的语料进行识别，得到初始的语料样本集合以及利用初始的语料样本集合训练得到的语料识别模型；

步骤S2，利用语料识别模型对书籍语料进行识别，得到书籍语料样本；

步骤S3，将书籍语料样本添加入语料样本集合，得到更新后的语料样本集合；

步骤S4，利用更新后的语料样本集合对语料识别模型进行训练，以更新所述语料识别模型；

重复执行上述步骤S2至步骤S4，直至更新后的语料样本集合满足第一预设条件。

2.根据权利要求1所述的方法，所述语料为语句，对语料进行识别具体为：对语句中的命名实体进行识别，得到命名实体名称、命名实体类型和命名实体位置。

3.根据权利要求2所述的方法，所述方法还包括：对语料库中所有的命名实体的出现频次进行统计，筛选出出现频次大于预设值的高频命名实体，得到高频命名实体字典；

在所述对语料库的语料进行识别，得到初始的语料样本集合之后，所述方法还包括：对初始的语料样本集合进行过滤，滤除其中不包含高频命名实体的语料样本；

在所述步骤S2和步骤S3之间，所述方法还包括：判断所述书籍语料样本是否包含高频命名实体，若是，则执行步骤S3；若否，则丢弃该书籍语料样本。

4.根据权利要求2或3所述的方法，所述对语料库的语料进行识别，得到初始的语料样本集合具体为：利用命名实体识别工具对语料库的语料进行识别，得到初始的语料样本集合；

所述步骤S1还包括：

步骤S11，从语料库中提取语料；

步骤S12，利用语料识别模型对语料进行识别；

步骤S13，将语料识别模型对语料的识别结果与命名实体识别工具对语料的识别结果进行校验，若校验一致，则在初始的语料样本集合中保留该语料对应的语料样本；若校验不一致，则在初始的语料样本集合中去除该语料对应的语料样本；

重复执行上述步骤S11至步骤S13，直至初始的语料样本集合满足第二预设条件。

5.根据权利要求2或3所述的方法，在所述步骤S2和步骤S3之间，所述方法还包括：

利用命名实体识别工具对书籍语料进行识别；

将语料识别模型对书籍语料的识别结果与命名实体识别工具对书籍语料的识别结果进行校验，若校验一致，则执行步骤S3；若校验不一致，丢弃该书籍语料对应的书籍语料样本。

6.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：

步骤S1，对语料库的语料进行识别，得到初始的语料样本集合以及利用初始的语料样本集合训练得到的语料识别模型；

步骤S2，利用语料识别模型对书籍语料进行识别，得到书籍语料样本；

步骤S3，将书籍语料样本添加入语料样本集合，得到更新后的语料样本集合；

步骤S4，利用更新后的语料样本集合对语料识别模型进行训练，以更新所述语料识别模型；

重复执行上述步骤S2至步骤S4，直至更新后的语料样本集合满足第一预设条件。

7.根据权利要求6所述的计算设备，所述语料为语句，所述可执行指令进一步使所述处理器执行以下操作：

对语句中的命名实体进行识别，得到命名实体名称、命名实体类型和命名实体位置。

8.根据权利要求7所述的计算设备，所述可执行指令进一步使所述处理器执行以下操作：

对语料库中所有的命名实体的出现频次进行统计，筛选出出现频次大于预设值的高频命名实体，得到高频命名实体字典；

对初始的语料样本集合进行过滤，滤除其中不包含高频命名实体的语料样本；

判断所述书籍语料样本是否包含高频命名实体，若是，则执行步骤S3；若否，则丢弃该书籍语料样本。