[发明专利]一种在线Web新闻内容的抽取方法及系统

权利要求书

1.一种在线Web新闻内容抽取方法，其特征是按如下步骤进行：

步骤1，使用HTML解析器解析被抽取的Web新闻网页，得到被抽取的Web新闻网页的DOM树；

步骤2，遍历所述DOM树，依次访问所述DOM树中的每个节点，构建文本节点信息序列和文本节点的标签路径信息序列；所述文本节点信息序列中的每个元素有两个属性，分别为文本节点和文本节点的标签路径；所述标签路径信息序列中的每个元素有三个属性，分别是文本节点的标签路径、标签路径到达的文本内容和标签路径到达的文本节点的个数；所述标签路径为所述DOM树的根节点到节点的节点序列；

步骤3，根据所述标签路径信息序列和标签路径特征系中每个标签路径特征的定义，通过计算构建标签路径特征值序列；

所述标签路径特征系是由六个不同的标签路径特征组成的，分别是文本标签路径长度特征、文本标签路径比特征、扩展文本标签路径长度特征、扩展文本标签路径比特征、文本标签路径层次比特征和扩展文本标签路径层次比特征；

所述标签路径特征值序列中的每个元素有七个属性，分别是：标签路径、文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值；

所述文本标签路径长度特征为标签路径到达的文本内容中字符的个数；

所述文本标签路径比特征为标签路径到达的文本内容中字符的个数与标签路径到达的文本节点的个数的比值；

所述扩展文本标签路径长度特征为标签路径到达的文本内容中标点符号的个数；

所述扩展文本标签路径比特征为标签路径到达的文本内容中标点符号的个数与标签路径到达的文本节点的个数的比值；

所述文本标签路径层次比特征为标签路径到达的文本内容中字符个数与标签路径的层次数的比值；

所述扩展文本标签路径层次比特征为标签路径到达的文本内容中标点符号的个数与标签路径的层次数的比值；

所述标签路径的层次数为标签路径中标签的个数；

步骤4，使用加权DS证据理论融合标签路径特征值序列，得到标签路径综合特征值序列；所述标签路径综合特征值序列中的每个元素有两个属性，分别是标签路径和标签路径的综合特征值；所述标签路径的综合特征值是利用加权DS证据理论融合标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值得到的结果；

步骤5，根据所述标签路径综合特征值序列和文本节点信息序列的映射关系，构建文本节点综合特征值序列；所述文本节点综合特征值序列中的每个元素有两个属性，分别是文本节点和文本节点的综合特征值；

步骤6，根据文本节点综合特征值序列抽取Web新闻网页正文内容。

2.根据权利要求1所述的在线Web新闻内容抽取方法，其特征是：所述步骤5中构建文本节点综合特征值序列的方法是：根据所述标签路径综合特征值序列中的每个元素的标签路径属性与所述文本节点信息序列中的每个元素的标签路径属性的对应关系，将标签路径的综合特征值分配给对应的文本节点，作为文本节点的综合特征值，构建文本节点综合特征值序列。

3.根据权利要求1所述的在线Web新闻内容抽取方法，其特征是：所述步骤6根据文本节点综合特征值序列抽取Web新闻网页正文内容的方法是：设置抽取阈值τ，依次访问所述文本节点综合特征值序列中的每个元素，若元素的文本节点的综合特征值大于阈值τ，则抽取元素中的文本节点的文本内容并存储，直至文本节点综合特征值序列中的所有元素都被访问；最终存储的内容为被抽取的Web新闻网页的正文内容。

4.一种在线Web新闻内容抽取系统，其特征是由解析模块、计算模块、融合模块和抽取模块构成；

所述解析模块根据被抽取的Web新闻网页的URL地址获取HTML文本，利用HTML解析器解析HTML文本得到被抽取的Web新闻网页的DOM树；

所述计算模块是由查找单元、文本节点信息获取单元、标签路径信息获取单元和标签路径特征生成单元构成；所述查找单元用于遍历所述DOM树，访问DOM树中的每个节点，查找出文本节点和文本节点的标签路径；所述文本节点信息获取单元用于构建文本节点信息序列，存储查找单元查找出的文本节点和文本节点的标签路径；所述标签路径信息获取单元用于构建标签路径信息序列，存储标签路径、标签路径到达的文本内容和标签路径到达的文本节点的个数；所述标签路径特征生成单元，根据标签路径信息序列中存储的信息计算每个标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值，得到文本标签路径特征值序列；

所述融合模块由加权单元和融合单元构成；所述加权单元用于设置标签路径特征系中每个元素的权重；所述融合单元根据加权单元设置的权重，利用加权DS证据理论融合每个标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值得到每个标签路径的综合特征值，最终得到标签路径综合特征值序列；

所述抽取模块由分配单元、选择单元和抽取单元构成；所述分配单元根据所述文本节点信息序列中每个元素的标签路径属性和所述标签路径综合特征值序列中每个元素的标签路径属性之间的对应关系，将标签路径的综合特征值分配给对应的文本节点，作为文本节点的综合特征值，构建文本节点的综合特征值序列；所述选择单元用于设置抽取阈值，依次访问文本节点序列中的每个元素，若元素的文本节点的综合特征值属性的值大于抽取阈值，则标记元素中的文本节点为内容节点；所述抽取单元，依次抽取选择单元标注为内容节点的文本节点的内容并存储，最终存储的内容为被抽取的Web新闻网页的正文内容。