[发明专利]一种网页内容抽取装置和方法

权利要求书

1.一种网页内容抽取装置，其中，该装置包括：

训练单元，适于根据训练数据定义不同类型的块，以及不同的分类特征；

其中，网页由多个不同类型的块组成，每种类型的块对应一个分类特征值集合，一个分类特征值集合由分别取对应特定值的一个或多个分类特征组成，不同类型的块通过各自对应的分类特征值集合进行区分；

解析单元，适于将当前网页解析成文档对象模型DOM树；

特征获取单元，适于获取所述DOM树的每个结点的分类特征值集合；

块类型确定单元，适于根据所定义的所有分类特征以及每种类型的块对应的分类特征值集合，确定所述DOM树的每个结点是否为块，以及块的类型；

内容抽取单元，适于对所述DOM树的被确定为块的结点，如果对应的块类型为需要抽取的类型，则取出该结点的内容。

2.如权利要求1所述的装置，其中，

所述特征获取单元，适于采用后根遍历方式获得所述DOM树的每个结点的分类特征值集合。

3.如权利要求1所述的装置，其中，

所述块类型确定单元，适于将所定义的所有分类特征以及每种类型的块对应的分类特征值集合输入决策树，利用决策树按照先根遍历方式判决所述DOM树的每个结点是否为块，以及块的类型，并按照遍历的顺序输出块序列。

4.如权利要求3所述的装置，其中，该装置进一步包括：

纠错单元，适于利用条件随机场CRF对所述块类型确定单元输出的块序列中的块的类型进行纠错处理。

5.如权利要求1至4中任一项所述的装置，其中，

所述训练单元，进一步适于根据新增的训练数据对分类特征和/或块的类型进行扩充，使得后续根据扩充后的结果进行网页内容抽取。

6.一种网页内容抽取方法，其中，包括：

根据训练数据定义不同类型的块，以及不同的分类特征；其中，网页由多个不同类型的块组成，每种类型的块对应一个分类特征值集合，一个分类特征值集合由分别取对应特定值的一个或多个分类特征组成，不同类型的块通过各自对应的分类特征值集合进行区分；

将当前网页解析成文档对象模型DOM树；

获取所述DOM树的每个结点的分类特征值集合；

根据所定义的所有分类特征以及每种类型的块对应的分类特征值集合，确定所述DOM树的每个结点是否为块，以及块的类型；

对于所述DOM树的被确定为块的结点，如果对应的块类型为需要抽取的类型，则取出该结点的内容。

7.如权利要求6所述的方法，其中，所述获取所述DOM树的每个结点的分类特征值集合包括：

采用后根遍历方式获得所述DOM树的每个结点的分类特征值集合。

8.如权利要求6所述的方法，其中，所述根据所定义的所有分类特征以及每种类型的块对应的分类特征值集合，确定所述DOM树的每个结点是否为块，以及块的类型包括：

将所定义的所有分类特征以及每种类型的块对应的分类特征值集合输入决策树，利用决策树按照先根遍历方式判决所述DOM树的每个结点是否为块，以及块的类型，并按照遍历的顺序输出块序列。

9.如权利要求8所述的方法，其中，在所述按照遍历的顺序输出块序列之后，该方法进一步包括：利用条件随机场CRF对所述块序列中的块的类型进行纠错处理。

10.如权利要求6至9中任一项所述的方法，其中，该方法进一步包括：根据新增的训练数据对分类特征和/或块的类型进行扩充；

后续根据扩充后的结果进行网页内容抽取。