[发明专利]一种抽取论坛网页中帖子内容的方法及系统

权利要求书

1.一种抽取论坛网页中帖子内容的方法，其特征在于，包括：

获得一论坛网页；

将所述论坛网页转换成DOM树，其中，所述DOM树至少包括一根节点及从属于所述根节点的至少一个子节点；

一一对应地为所述根节点及所述至少一个子节点生成频繁模式；

判断所述频繁模式中每个频繁模式的频繁度与支持度是否大于等于预设的频繁度和支持度；当一频繁模式的频繁度与支持度小于预设的频繁度和支持度时，对所述频繁模式进行剪枝处理；

按照所述频繁模式的层次，根据所述频繁模式的兄弟节点、孩子节点对所述频繁模式进行扩展；

根据所述频繁模式中的最大频繁模式，对论坛网页中的内容数据区域进行定位，并确定出与所述论坛网页中信息内容所对应的节点；

过滤掉所述论坛网页中帖子之间相同部分；基于最大公共子树算法，从所述与所述论坛网页中信息内容所对应的节点中提取所述论坛网页中的信息内容。

2.如权利要求1所述的方法，其特征在于，所述将所述论坛网页转换成DOM树，具体包括：

删除所述论坛网页中无用的网页标签；

将无用的网页标签删除了的所述论坛网页转换成DOM树。

3.如权利要求1所述的方法，其特征在于，所述预设的频繁度和支持度具体为：最小频繁度和最小支持度。

4.一种抽取论坛网页中帖子内容的系统，其特征在于，所述系统包括：

获得模块，用于获得一论坛网页；

转换模块，用于将所述论坛网页转换成DOM树，其中，所述DOM树至少包括一根节点及从属于所述根节点的至少一个子节点；

生成模块，用于一一对应地为所述根节点及所述至少一个子节点生成频繁模式；

判断模块，用于判断所述频繁模式中每个频繁模式的频繁度与支持度是否大于等于预设的频繁度和支持度；

剪枝模块，用于当一频繁模式的频繁度与支持度小于预设的频繁度和支持度时，对所述频繁模式进行剪枝处理；以及，按照所述频繁模式的层次，根据所述频繁模式的兄弟节点、孩子节点对所述频繁模式进行扩展；确定模块，用于根据所述频繁模式中的最大频繁模式，对论坛网页中的内容数据区域进行定位，并确定出与所述论坛网页中信息内容所对应的节点；

提取模块，用于过滤掉所述论坛网页中帖子之间相同的部分，以及基于最大公共子树算法，从所述与所述论坛网页中信息内容所对应的节点中提取所述论坛网页中的信息内容。

5.如权利要求4所述的系统，其特征在于，所述转换模块，具体包括：

删除单元，用于删除所述论坛网页中无用的网页标签；

转换单元，用于将无用的网页标签删除了的所述论坛网页转换成DOM树。

6.如权利要求4所述的系统，其特征在于，所述预设的频繁度和支持度具体为：最小频繁度和最小支持度。