[发明专利]网页正文抽取方法和装置

权利要求书

1.一种网页正文抽取方法，包括：

将网页表示为树状结构；

判断树状结构中的每一个节点是否为有效节点；以及

组合作为有效节点的叶子节点中所包含的正文信息，以得到所述网页的正文，

其中，对于树状结构中的给定节点，如果在所述给定节点的儿子节点中预定类型的节点所占的比例小于或等于第一阈值，则判定所述给定节点为有效节点。

2.根据权利要求1所述的方法，其中，在将网页表示为树状结构之前还包括：对网页进行处理，以获取符合Web标准的网页。

3.根据权利要求2所述的方法，其中，通过后根遍历树状结构来判断树状结构中的每一个节点是否为有效节点。

4.根据权利要求3所述的方法，其中，如果判定树状结构中的给定节点为无效节点，则抛弃所述给定节点及其所有子孙节点。

5.根据权利要求4所述的方法，其中，将网页表示为树状结构包括：

定义用于表示节点的数据结构；以及

根据所述网页的结构信息，利用所述数据结构将所述网页表示为所述树状结构。

6.根据权利要求5所述的方法，其中，所述数据结构包括以下内容：

所述节点的类型；

所述节点的值；

用于找到所述节点的全部儿子节点的信息；

用于回溯到所述节点的父节点的信息；

用于找到所述节点的下一个兄弟节点的信息；以及

所述节点的名称。

7.根据权利要求1至6之任一所述的方法，其中，所述预定类型的节点为链接节点或图片节点中的至少一个。

8.根据权利要求1至6之任一所述的方法，其中，对于树状结构中的给定非叶子节点，如果所述给定非叶子节点为链接节点或图片节点，则判定所述给定非叶子节点为有效节点；以及如果所述给定非叶子节点为脚本节点或样式节点，则判定所述给定非叶子节点为无效节点。

9.根据权利要求1至6之任一所述的方法，其中，对于树状结构中的给定叶子节点，如果所述给定叶子节点不是文本节点，或者如果所述给定叶子节点是文本节点但所述给定叶子节点的父节点是脚本节点或样式节点，则判定所述给定叶子节点为无效节点。

10.根据权利要求1至6之任一所述的方法，其中，对于树状结构中的给定叶子节点，如果所述给定叶子节点是文本节点，并且所述给定叶子节点的父节点不是脚本节点或样式节点，则在所述给定叶子节点的内容长度大于第二阈值时，判定所述给定叶子节点为有效节点。

11.根据权利要求10所述的方法，其中，在所述给定叶子节点的内容长度小于或等于第二阈值时，如果所述给定叶子节点的父节点是用于调整字体显示的节点，则判定所述给定叶子节点为有效节点。

12.一种网页正文抽取装置，包括：

网页表示部分，用于将网页表示为树状结构；

节点有效性判断部分，用于判断所述树状结构中的每个节点是否为有效节点；以及

正文信息组合部分，用于组合作为有效节点的叶子节点中所包含的正文信息，以得到所述网页的正文，

其中，对于树状结构中的给定节点，如果在所述给定节点的儿子节点中预定类型的节点所占的比例小于或等于第一阈值，则所述节点有效性判断部分判定所述给定节点为有效节点。

13.根据权利要求12所述的装置，还包括：

网页处理部分，用于对将要由网页表示部分表示为树状结构的网页进行处理，以获取符合Web标准的网页。

14.根据权利要求13所述的装置，其中，所述节点有效性判断部分通过后根遍历树状结构来判断树状结构中的每一个节点是否为有效节点。

15.根据权利要求14所述的装置，其中，如果所述节点有效性判断部分判定树状结构中的给定节点为无效节点，则抛弃所述给定节点及其所有子孙节点。

16.根据权利要求15所述的装置，其中，所述网页表示部分包括：

定义用于表示节点的数据结构的单元；以及

根据所述网页的结构信息，利用所述数据结构将所述网页表示为所述树状结构的单元。