[发明专利]对小说网页内容选择性抽取方法和装置

权利要求书

1.一种对小说网页内容选择性抽取方法，包括：

将目标小说网页解析成文本对象模型树结构；

对所述文本对象模型树结构中的各结点进行分类，以确定所述目标小说网页的结构分块；

根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据；

其中，所述目标小说网页为来自多个站点的同一本小说的小说网页，根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据之后，还包括：

识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，从而判断该不同的结构化数据是不完整的或虚假的数据；

所述目标小说网页相应的结构化数据包括目录页和内容页，所述识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，包括：

计算来自多个站点的所述目标小说网页相应的多个内容页的文本特征向量，进而将具备相同的文本特征向量进行聚类，从而得到每两个目录页对应的内容页的交集作为每两个目录页的交集，进而根据每两个目录页的交集判断来自多个站点的所述目标小说网页的章节是否完整。

2.根据权利要求1所述的方法，其中，对所述文本对象模型树结构中的各结点进行分类，包括：

遍历所述文本对象模型树结构，得到所述文本对象模型树结构中各结点的内容；

按照预设规则将所述各结点的内容输入决策树，由所述决策树对所述各结点进行分类。

3.根据权利要求2所述的方法，其中，遍历所述文本对象模型树结构，得到所述文本对象模型树结构中各结点的内容，包括：

对所述文本对象模型树结构进行后跟遍历，通过累加当前遍历结点的所有子结点的内容得到当前遍历结点的内容。

4.根据权利要求2或3所述的方法，其中，由所述决策树对所述各结点进行分类，包括：

由所述决策树分析所述各结点的内容，得到所述各结点的维度特征；

根据所述各结点的维度特征对所述各结点进行分类。

5.根据权利要求4所述的方法，其中，所述决策树是由用于训练的、小说网页的不同类型的块以及每种类型的块对应的至少一个维度特征训练得到。

6.根据权利要求2或3所述的方法，其中，按照预设规则将所述各结点的内容输入决策树，包括：

采用先跟遍历的顺序将所述各结点的内容输入决策树。

7.根据权利要求4所述的方法，其中，所述维度特征包括下列至少之一：文本长度、超链接个数、超链接文本长度、高亮文本长度、中文字符长度、英文字符长度、数字字符长度、特定关键词、特定标点符号。

8.根据权利要求1-3任一项所述的方法，其中，所述目标小说网页的结构分块的类型包括下列至少之一：小说名称块、作者信息块、摘要信息块、附加信息块、发表日期块、目录块、正文块、翻页块、广告块、垃圾块。

9.根据权利要求1-3任一项所述的方法，其中，识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，包括：

计算选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据的特征向量；

将具备相同特征向量的结构化数据进行聚类，得到不同特征向量的结构化数据作为不同的结构化数据。