[发明专利]知识样本数据集的确定方法、装置及电子设备

说明书

本发明实施例公开了一种知识样本数据集的确定方法、装置及电子设备，所述方法包括：获取预设数量个主谓宾SPO三元组格式和源文本；根据各SPO三元组格式，从预设知识库中获取各SPO三元组格式对应的n个SPO条目；在各源文本中查找与n个SPO条目匹配的m个第一文本，生成第一知识样本数据集；根据m个第一文本，确定符合各SPO三元组格式的k个第二文本，生成第二知识样本数据集；根据第一知识样本数据集和第二知识样本数据集，生成目标知识样本数据集。即本实施例，实现对知识样本数据集的自动生成，使生成速度快，成本低，可以产出的数据规模大，可以满足训练需求。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种知识样本数据集的确定方法、装置及电子设备。

背景技术

知识图谱，是指以实体、概念作为节点，以语义关系作为边的语义网络。知识图谱使得知识获取更直接，因此能够为阅读提供语义关联的知识，从而实现阅读的便捷化、智能化和人性化。SPO三元组是知识图谱的关键组成部分，SPO三元组为实体关系和实体属性，从知识图谱构建角度来看，实体属性可以丰富知识图谱中的实体信息，实体关系可以丰富知识图谱中的边关系，提升知识图谱的连通度。

在构建知识图谱时，需要对知识图谱对应知识抽取任务的算法进行训练、算法验证，这时需要获取知识样本数据集。已有的方法，通过众包的方式进行纯人工标注，具体是，要求众包用户在给出的自然语言文本中，罗列出所有符合认知的SPO三元组。

但是，这种众包标注的方式标注难度较大，众包用户标注速度较低，标注人力成本高，从而产出的数据规模小，无法满足当前学界和业界常用的深度学习模型的训练需求。

发明内容

本发明实施例提供一种知识样本数据集的确定方法、装置及电子设备。

第一方面，本发明实施例提供一种知识样本数据集的确定方法，包括：

获取预设数量个主谓宾SPO三元组格式和源文本；

根据各所述SPO三元组格式，从预设知识库中获取各所述SPO三元组格式对应的n个SPO条目；

在各所述源文本中查找与所述n个SPO条目匹配的m个第一文本，生成第一知识样本数据集，其中，所述第一知识样本数据集中的每个样本包括S、P、O和第一文本构成的四元组；

根据所述m个第一文本，确定符合各所述SPO三元组格式的k个第二文本，生成第二知识样本数据集，其中，所述第二知识样本数据集中的每个样本包括S、P、O和第二文本构成的四元组；

根据所述第一知识样本数据集和所述第二知识样本数据集，生成目标知识样本数据集。

在第一方面的一种可能的实现方式中，所述根据所述第一知识样本数据集和所述第二知识样本数据集，生成目标知识样本数据集之前，所述方法还包括：

将所述第一知识样本数据集和所述第二知识样本数据集的各样本中P相同，并且S或O相同的样本作为一组样本；

获取各组样本中元素值不同的元素的并列词汇；

将各所述并列词汇补充至对应的一组样本的SPO三元素中，生成第三知识样本数据集；

所述根据所述第一知识样本数据集和所述第二知识样本数据集，生成目标知识样本数据集，包括：

根据所述第一知识样本数据集、所述第二知识样本数据集和所述第三知识样本数据集，生成目标知识样本数据集。

在第一方面的一种可能的实现方式中，所述在各所述源文本中查找与所述n个SPO条目匹配的m个第一文本之前，所述方法包括：

针对每个源文件，对所述源文本进行划分，生成第一候选句子文本集合；