[发明专利]对小说网页内容选择性抽取方法和装置

说明书

技术领域

本发明涉及互联网技术领域，特别是一种对小说网页内容选择性抽取方法和装置。

背景技术

小说网页内容的抽取在搜索引擎、移动阅读等领域有着越来越重要的作用。一般而言，小说网页包含的信息丰富而复杂，可以包括有标题、作者信息、目录、正文、广告等内容。因而，为了在小说网页中抽取有效的内容，亟需提供一种高效、通用性强的小说网页内容的抽取方法。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的对小说网页内容选择性抽取方法和相应的装置。

依据本发明的一个方面，提供了一种对小说网页内容选择性抽取方法，包括：将目标小说网页解析成文本对象模型树结构；对所述文本对象模型树结构中的各结点进行分类，以确定所述目标小说网页的结构分块；根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据。

可选地，对所述文本对象模型树结构中的各结点进行分类，包括：遍历所述文本对象模型树结构，得到所述文本对象模型树结构中各节点的内容；按照预设规则将所述各节点的内容输入决策树，由所述决策树对所述各节点进行分类。

可选地，遍历所述文本对象模型树结构，得到所述文本对象模型树结构中各节点的内容，包括：对所述文本对象模型树结构进行后跟遍历，通过累加所述当前遍历结点的所有子结点的内容得到所述当前遍历结点的内容。

可选地，由所述决策树对所述各节点进行分类，包括：由所述决策树分析所述各节点的内容，得到所述各节点的维度特征；根据所述各节点的维度特征对所述各节点进行分类。

可选地，所述决策树是由用于训练的、小说网页的不同类型的块以及每种类型的块对应的至少一个维度特征训练得到。

可选地，按照预设规则将所述各节点的内容输入决策树，包括：采用先跟遍历的顺序将所述各节点的内容输入决策树。

可选地，所述维度特征包括下列至少之一：文本长度、超链接个数、超链接文本长度、高亮文本长度、中文字符长度、英文字符长度、数字字符长度、特定关键词、特定标点符号。

可选地，所述目标小说网页的结构分块的类型包括下列至少之一：小说名称块、作者信息块、摘要信息块、附加信息块、发表日期块、目录块、正文块、翻页块、广告块、垃圾块。

可选地，所述目标小说网页为来自多个站点的同一本小说的小说网页，根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据之后，还包括：识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据。

可选地，识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，包括：计算选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据的特征向量；将具备相同特征向量的结构化数据进行聚类，得到不同特征向量的结构化数据作为不同的结构化数据。

依据本发明的另一个方面，还提供了一种对小说网页内容选择性抽取装置，包括：

解析模块，适于将目标小说网页解析成文本对象模型树结构结构；

分类模块，适于对所述文本对象模型树结构中的各结点进行分类，以确定所述目标小说网页的结构分块；

抽取模块，适于根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据。

可选地，所述分类模块还适于：遍历所述文本对象模型树结构，得到所述文本对象模型树结构中各节点的内容；按照预设规则将所述各节点的内容输入决策树，由所述决策树对所述各节点进行分类。

可选地，所述分类模块还适于：对所述文本对象模型树结构进行后跟遍历，通过累加所述当前遍历结点的所有子结点的内容得到所述当前遍历结点的内容。

可选地，所述分类模块还适于：由所述决策树分析所述各节点的内容，得到所述各节点的维度特征；根据所述各节点的维度特征对所述各节点进行分类。

可选地，所述决策树是由用于训练的、小说网页的不同类型的块以及每种类型的块对应的至少一个维度特征训练得到。

可选地，所述分类模块还适于：采用先跟遍历的顺序将所述各节点的内容输入决策树。

可选地，所述维度特征包括下列至少之一：文本长度、超链接个数、超链接文本长度、高亮文本长度、中文字符长度、英文字符长度、数字字符长度、特定关键词、特定标点符号。

可选地，所述目标小说网页的结构分块的类型包括下列至少之一：小说名称块、作者信息块、摘要信息块、附加信息块、发表日期块、目录块、正文块、翻页块、广告块、垃圾块。