[发明专利]基于文档拆分的知识库建设方法及装置

权利要求书

1.一种基于文档拆分的知识库建设方法，其特征在于，包括：

获取待处理的文档；

判断所述文档是否具有标题；

如果所述文档具有标题，则确定所述文档内的各级标题；每级标题的数量是一个或多个；

至少将部分标题作为介绍知识点的介绍问题，以及将所述部分标题下的至少部分内容作为所述介绍知识点的答案存储至知识库中；

所述至少将部分标题作为介绍知识点的介绍问题，以及将所述部分标题下的至少部分内容作为所述介绍知识点的答案存储至知识库中包括：对于第i级标题，将所述第i级标题及其至少一个上级标题采用关联词进行连接，形成完整语句，并将所述完整语句作为所述介绍问题，确定所述第i级标题下的至少部分内容作为相应的答案，其中，所述文档包括M级标题，i的取值范围为[1，M]；

或者，所述至少将部分标题作为介绍知识点的介绍问题，以及将所述部分标题下的至少部分内容作为所述介绍知识点的答案存储至知识库中包括：如果标题下的内容的字数达到预设阈值，则将所述内容切分为多个句子；按照所述多个句子的语义相关性将所述多个句子拆分为多个段落，段落的数量小于等于句子的数量；提取每个段落的内容摘要；将每一段落的内容摘要作为所述介绍知识点的介绍问题，以及至少将所述段落作为所述介绍知识点的答案存储至所述知识库。

2.根据权利要求1所述的基于文档拆分的知识库建设方法，其特征在于，所述判断所述文档是否具有标题包括：

判断所述文档是否具备目录或大纲级别，当所述文档具备目录或大纲级别时，所述文档具有标题；

如果所述文档未具备目录或大纲级别，则判断所述文档是否具备编号或不同大小的字体，当所述文档具有编号或不同大小的字体时，所述文档具有标题；否则，所述文档不具有标题。

3.根据权利要求2所述的基于文档拆分的知识库建设方法，其特征在于，所述确定所述文档内的各级标题包括：

如果所述文档具备目录，则根据所述文档的目录来确定各级标题；

或者，如果所述文档具备大纲级别，则根据所述文档的大纲级别来确定各级标题；

或者，如果所述文档具有编号，则根据所述编号的编号优先级确定各级编号，将每级编号至首个换行符之间的内容作为每级标题；

或者，如果所述文档具备不同大小的字体，则按照所述文档中各个段落的字体从大到小的顺序确定各级标题；

或者，如果所述文档具有编号，则按照编号在所述文档中首次出现的顺序确定各级编号，将每级编号至首个换行符之间的内容作为每级标题。

4.根据权利要求1所述的基于文档拆分的知识库建设方法，其特征在于，还包括：

如果所述文档未具有标题，则根据标点符号将所述文档切分为多个句子；

按照所述多个句子的语义相关性将所述多个句子拆分为多个段落，段落的数量小于等于句子的数量；

提取每个段落的内容摘要；

将每一段落的内容摘要作为所述介绍知识点的介绍问题，以及至少将所述段落作为所述介绍知识点的答案存储至所述知识库。

5.根据权利要求1或4所述的基于文档拆分的知识库建设方法，其特征在于，所述按照所述多个句子的语义相关性将所述多个句子拆分为多个段落包括：

计算各个句子的语义向量，所述语义向量选自词频向量和/或句向量，句子的句向量为所述句子所包含的各个词语的词向量之和；

计算相邻两个句子的语义向量的语义相似度；

在所述语义相似度小于预设阈值时，将所述相邻两个句子拆分至不同的段落。

6.根据权利要求1或4所述的基于文档拆分的知识库建设方法，其特征在于，所述按照所述多个句子的语义相关性将所述多个句子拆分为多个段落还包括：

对于拆分得到的多个段落，计算每两个段落的语义相似度；

在两个段落的语义相似度达到第三预设阈值时，将所述两个段落合并为一个段落。