[发明专利]一种用于构建标题识别模型的方法、装置、电子设备以及存储介质

说明书

本申请公开了一种用于构建标题识别模型的方法、装置、电子设备以及存储介质。先获取文档的各个文本块，再利用文档的文本块在多个维度的特征来构建正负样本并训练标题识别模型，使标题识别模型可以通过这些正负样本学习到标题文本块的特征和非标题文本块的特征。该标题识别模型可以实现对文档标题的自动化识别，而不局限于通过字号、字体来区分标题和正文。

技术领域

本申请涉及计算机技术，特别地涉及一种用于构建标题识别模型的方法、装置、电子设备以及存储介质。

背景技术

传媒企业往往存储了大量非结构化的、版面复杂的期刊数据，这些期刊数据可以被存储在例如PDF格式或INDD格式的文档中。

很多情况下，企业需要对这些期刊数据进行结构化数据处理，例如：将期刊数据的标题、正文、作者、日期中的一种或多种信息提取归类，以便于后续对期刊数据的检索查阅。

标题提取是结构化数据处理的一部分。在一种传统方案中，可以基于文章中的字体字号信息和文字之间的相邻位置信息来区分标题与正文，并提取标题。但如果标题的字号、字体与正文相同，并且文中各处的相邻位置也相同，则很难提取到文档标题。

发明内容

依据本申请的第一方面，提供了一种用于构建标题识别模型的方法，包括：

对样本文档进行解析，得到所述样本文档的多个文本块中的每个文本块的解析信息，所述解析信息包含不同维度上的特征信息，所述特征信息至少包括文本内容；

基于所述多个文本块中的每个文本块的文本内容提取出所述样本文档的标题文本块并作为正样本置入训练集；

将所述样本文档中除标题文本块以外的文本块确定为非标题文本块，并选择所述样本文档的非标题文本块并作为负样本置入所述训练集；

针对所述训练集中的任一样本，基于所述样本所对应的解析信息中的不同维度上的特征信息构建所述样本的特征向量；以及

依据所述训练集中多个样本的特征向量构建标题识别模型。依据本申请的第二方面，提供了一种使用第一方面所构建的标题识别模型来识别标题的方法：

对待识别文档进行解析，得到所述待识别文档中的多个文本块中的每个文本块的解析信息，所述解析信息包含不同维度上的特征信息，所述特征信息至少包括文本内容；

使用所述多个文本块中每个文本块所对应的解析信息中的不同维度上的特征信息构建对应文本块的特征向量；

依据所述标题识别模型对所述多个文本块中每个文本块的特征向量进行预测，以在所述多个文本块中确定出标题文本块。

依据本申请的第三方面，提供了一种用于构建标题识别模型的装置，包括：

样本解析模块，被配置为对样本文档进行解析，得到所述样本文档的多个文本块中的每个文本块的解析信息，所述解析信息包含不同维度上的特征信息，所述特征信息至少包括文本内容；

正样本获取模块，被配置为基于所述多个文本块中的每个文本块的文本内容提取出所述样本文档的标题文本块并作为正样本置入训练集；

负样本获取模块，被配置为将所述样本文档中除标题文本块以外的文本块确定为非标题文本块，并选择所述样本文档的非标题文本块并作为负样本置入所述训练集；

第一特征向量构建模块，被配置为针对所述训练集中的任一样本，基于所述样本所对应的解析信息中的不同维度上的特征信息构建所述样本的特征向量；以及

模型构建模块，被配置为依据所述训练集中多个样本的特征向量构建标题识别模型。

依据本申请的第四方面，提供了一种使用第三方面所构建的标题识别模型来识别标题的装置，包括：