[发明专利]一种网页信息抽取的系统及方法

权利要求书

1.一种网页信息抽取的系统，其特征在于，包括：

模板生成模块，用于进行从网页集合中选取待自动标注网页的操作，构建用户标注的训练网页的DOM树和所述待自动标注网页的DOM树，所述训练网页对应的类别的网页模板为所述训练网页的DOM树，计算所述训练网页的DOM树同所述待自动标注网页的DOM树的相似度，以进行相似度比较，如果所述相似度大于预设阈值，则所述待自动标注网页属于所述训练网页对应的类别，否则，提示用户对所述待自动标注网页进行标注，以生成新的训练网页，构建所述新的训练网页的DOM树和待自动标注网页的DOM树，所述新的训练网页对应的类别的网页模板为所述新的训练网页的DOM树，将新的训练网页的DOM树同待自动标注网页的DOM树进行所述相似度比较，以完成分类；

网页同质化模块，用于依据所述类别的网页模板屏蔽属于所述类别的待自动标注网页同所述类别的网页模板间的差异；

自动标注模块，用于解析所述类别的训练网页，生成第一包装器文件，按所述第一包装器文件对所述类别的待自动标注网页进行自动标注，以生成新的训练网页；

包装器文件生成模块，用于解析所有训练网页，生成第二包装器文件；

在线抽取模块，用于应用所述第二包装器文件对所述网页集合中未被选取的网页信息进行抽取。

2.如权利要求1所述的网页信息抽取的系统，其特征在于，

所述模板生成模块还用于利用所述类别中的待自动标注网页的DOM树简化所述网页模板。

3.如权利要求2所述的网页信息抽取的系统，其特征在于，

所述模板生成模块在简化所述网页模板时进一步用于识别出所述网页模板中的重复数据节点，将所述网页模板同所述类别的待自动标注网页的DOM树进行匹配，将所述网页模板中未被匹配并且不为所述重复数据节点的节点删除。

4.如权利要求3所述的网页信息抽取的系统，其特征在于，

所述模板生成模块在识别所述网页模板中的重复数据节点时进一步用于在所述网页模板中确定一条被标记记录中的所有节点的共同祖先节点，查找所述祖先节点的所有同名的邻居节点，判断以所述同名的邻居节点为根节点的子树同以所述被标记记录中的节点为根节点的子树的相似度是否大于预设阈值，如果是，则所述同名的邻居节点和所述被标记记录中的节点为重复数据节点；否则，在所述祖先节点的上一层节点中查找直到找到重复数据节点或查找到所述网页模板的根节点为止。

5.如权利要求4所述的网页信息抽取的系统，其特征在于，

所述模板生成模块在将所述网页模板简化后还用于将所述网页模板中以除所述被标记记录中的节点外的重复数据节点为根节点的子树同以所述被标记记录中的节点为根节点的子树进行匹配，将以除所述被标记记录中的节点外的重复数据节点为根节点的子树中未被匹配的节点屏蔽。

6.如权利要求1所述的网页信息抽取的系统，其特征在于，

所述网页同质化模块进一步用于将同一类别中所述待自动标注网页的DOM树同所述网页模板进行匹配，将所述待自动标注网页的DOM树中未被匹配的节点屏蔽。

7.如权利要求1所述的网页信息抽取的系统，其特征在于，

所述自动标注模块，在解析所述类别的训练网页，生成第一包装器文件时进一步用于将所述训练网页转化为标记序列，定位标注的数据的前后分隔符，确定所述分隔符的左右规则。

8.如权利要求7所述的网页信息抽取的系统，其特征在于，

所述自动标注模块，在解析所述类别的训练网页，生成第一包装器文件时还用于将每个分隔符作为不确定状态机的一个状态，将每个分隔符对应的左右规则作为从当前状态跳转到下一状态的跳转规则。

9.如权利要求1所述的网页信息抽取的系统，其特征在于，

所述包装器文件生成模块进一步用于将所述训练网页转化为标记序列，定位标注的数据的前后分隔符，确定所述分隔符的左右规则；每个分隔符为不确定状态机的一个状态，每个分隔符对应的左右规则为从当前状态跳转到下一状态的跳转规则。