[发明专利]对小说网页内容选择性抽取方法和装置

摘要

本发明提供了一种对小说网页内容选择性抽取方法和装置，该方法包括将目标小说网页解析成文本对象模型树结构；对所述文本对象模型树结构中的各结点进行分类，以确定所述目标小说网页的结构分块；根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据。本发明通过对文本对象模型树结构中的各结点进行分类，实现对小说网页进行结构分块，进而实现对信息丰富而复杂的小说网页的网页内容的有效抽取。

主权项

一种对小说网页内容选择性抽取方法，包括：将目标小说网页解析成文本对象模型树结构；对所述文本对象模型树结构中的各结点进行分类，以确定所述目标小说网页的结构分块；根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据；其中，所述目标小说网页为来自多个站点的同一本小说的小说网页，根据所述结构分块选择性抽取所述目标小说网页相应的结构化数据之后，还包括：识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，从而判断该不同的结构化数据是不完整的或虚假的数据；所述目标小说网页相应的结构化数据包括目录页和内容页，所述识别选择性抽取的来自多个站点的所述目标小说网页相应的结构化数据，以识别出不同的结构化数据，包括：计算来自多个站点的所述目标小说网页相应的多个内容页的文本特征向量，进而将具备相同的文本特征向量进行聚类，从而得到每两个目录页对应的内容页的交集作为每两个目录页的交集，进而根据每两个目录页的交集判断来自多个站点的所述目标小说网页的章节是否完整。