[发明专利]一种在线Web新闻内容的抽取方法及系统

摘要

本发明涉及一种在线Web新闻内容抽取方法，其步骤为：获取被抽取的Web新闻网页的DOM树；遍历DOM树构建文本节点信息序列和标签路径信息序列；计算标签路径特征值序列；使用加权DS证据理论融合标签路径特征值序列，得到标签路径综合特征值序列；构建文本节点综合特征值序列；根据文本节点综合特征值序列抽取Web新闻网页正文内容。本发明还公开了一种在线Web新闻内容抽取系统，由解析模块、计算模块、融合模块和抽取模块构成。本发明中的标签路径特征不基于网页的模板且具有多样性，整个抽取过程都是简单的数学元素，能有效地在线抽取海量异构的Web新闻网页。

主权项

一种在线Web新闻内容抽取方法，其特征是按如下步骤进行：步骤1，使用HTML解析器解析被抽取的Web新闻网页，得到被抽取的Web新闻网页的DOM树；步骤2，遍历所述DOM树，依次访问所述DOM树中的每个节点，构建文本节点信息序列和文本节点的标签路径信息序列；所述文本节点信息序列中的每个元素有两个属性，分别为文本节点和文本节点的标签路径；所述标签路径信息序列中的每个元素有三个属性，分别是文本节点的标签路径、标签路径到达的文本内容和标签路径到达的文本节点的个数；所述标签路径为所述DOM树的根节点到节点的节点序列；步骤3，根据所述标签路径信息序列和标签路径特征系中每个标签路径特征的定义，通过计算构建标签路径特征值序列；所述标签路径特征系是由六个不同的标签路径特征组成的，分别是文本标签路径长度特征、文本标签路径比特征、扩展文本标签路径长度特征、扩展文本标签路径比特征、文本标签路径层次比特征和扩展文本标签路径层次比特征；所述标签路径特征值序列中的每个元素有七个属性，分别是：标签路径、文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值；所述文本标签路径长度特征为标签路径到达的文本内容中字符的个数；所述文本标签路径比特征为标签路径到达的文本内容中字符的个数与标签路径到达的文本节点的个数的比值；所述扩展文本标签路径长度特征为标签路径到达的文本内容中标点符号的个数；所述扩展文本标签路径比特征为标签路径到达的文本内容中标点符号的个数与标签路径到达的文本节点的个数的比值；所述文本标签路径层次比特征为标签路径到达的文本内容中字符个数与标签路径的层次数的比值；所述扩展文本标签路径层次比特征为标签路径到达的文本内容中标点符号的个数与标签路径的层次数的比值；所述标签路径的层次数为标签路径中标签的个数；步骤4，使用加权DS证据理论融合标签路径特征值序列，得到标签路径综合特征值序列；所述标签路径综合特征值序列中的每个元素有两个属性，分别是标签路径和标签路径的综合特征值；所述标签路径的综合特征值是利用加权DS证据理论融合标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签 路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值得到的结果；步骤5，根据所述标签路径综合特征值序列和文本节点信息序列的映射关系，构建文本节点综合特征值序列；所述文本节点综合特征值序列中的每个元素有两个属性，分别是文本节点和文本节点的综合特征值；步骤6，根据文本节点综合特征值序列抽取Web新闻网页正文内容。