[发明专利]网页数据抽取模板生成方法、装置、计算机装置及存储介质

权利要求书

1.网页数据抽取模板生成方法，其特征在于，包括：

从样本网页中标注待抽取字段，对所述待抽取字段设置字段属性，将所述待抽取字段及所述字段属性作为网页抽取样本存入抽取样本集中，所述字段属性包括属性名、属性值、属性类型；

在所述抽取样本集中网页抽取样本的数目大于或等于2的情况下，遍历所述网页抽取样本中的所有待抽取字段，生成字段样本集，所述字段样本集包括至少两个具有相同唯一标识的待抽取字段，所述唯一标识根据所述字段属性中的属性名及模板名称组成；

遍历字段样本集中的每个待抽取字段，将所述每个待抽取字段的原始HTML网页转换为对应的DOM树，按照JQuery规范基于HTML属性标签对所述DOM树的位置特征进行描述，生成相应的CSS路径，根据所述CSS路径从所述转换的DOM树中选择当前待抽取字段的候选节点集合，对比所述每个待抽取字段对应的候选节点集合，将候选节点集合中一直不变的节点作为所述当前待抽取字段的目标节点；

将所述待抽取字段与所述目标节点进行对比，确定所述待抽取字段中的属性值相对于所述目标节点的相对位置信息，其中，所述属性值为所述待抽取字段中除所述属性名之外的字段；根据所述待抽取字段的属性名、属性值、属性值类型及所述确定的相对位置信息，生成网页数据抽取模板。

2.根据权利要求1所述的网页数据抽取模板生成方法，其特征在于，所述从样本网页中标注待抽取字段之前，还包括：

对样本网页设置样本参数，其中，所述样本参数包括：待保存的数据库名称、所属网页类型名称及模板名称。

3.根据权利要求1所述的网页数据抽取模板生成方法，其特征在于，所述遍历所述网页抽取样本中的所有待抽取字段，生成字段样本集包括以下过程：

根据所述属性名及所述模板名称，分别对网页抽取样本中的所有待抽取字段生成唯一标识，通过所述唯一标识，对存在于不同网页抽取样本中的同一待抽取字段进行聚合，生成所述字段样本集。

4.根据权利要求1所述的网页数据抽取模板生成方法，其特征在于，所述相对位置信息包括：寻找方向、寻找步数、相邻节点。

5.根据权利要求1所述的网页数据抽取模板生成方法，其特征在于，所述将候选节点集合中一直不变的节点作为所述当前待抽取字段的目标节点之后，所述网页数据抽取模板的生成方法包括以下过程：

统计各个目标节点的出现次数，选择出现次数最高的目标节点作为模板目标节点，确定所有待抽取字段中的属性值分别相对于所述模板目标节点的相对位置信息，将所述所有待抽取字段中的属性值分别相对于所述模板目标节点的相对位置信息组成相对位置信息集合；

根据所述待抽取字段的所述属性名、所述属性值、所述属性值类型及所述相对位置信息集合，生成网页数据抽取模板。

6.一种网页数据抽取模板生成装置，其特征在于，所述网页数据抽取模板生成装置包括：

标注模块，用于从样本网页中标注待抽取字段，对所述待抽取字段设置字段属性，将所述待抽取字段及所述字段属性作为网页抽取样本存入抽取样本集中，所述字段属性包括属性名、属性值、属性类型；

第一生成模块，用于在所述抽取样本集中网页抽取样本的数目大于或等于2的情况下，遍历所述网页抽取样本中的所有待抽取字段，生成字段样本集，所述字段样本集包括至少两个具有相同唯一标识的待抽取字段，所述唯一标识根据所述字段属性中的属性名及模板名称组成；

处理模块，用于遍历字段样本集中的每个待抽取字段，将所述每个待抽取字段的原始HTML网页转换为对应的DOM树，按照JQuery规范基于HTML属性标签对所述DOM树的位置特征进行描述，生成相应的CSS路径，根据所述CSS路径从所述转换的DOM树中选择当前待抽取字段的候选节点集合，对比所述每个待抽取字段对应的候选节点集合，将候选节点集合中一直不变的节点作为所述当前待抽取字段的目标节点；

第二生成模块，用于将所述待抽取字段与所述目标节点进行对比，确定所述待抽取字段中的属性值相对于所述目标节点的相对位置信息，其中，所述属性值为所述待抽取字段中除所述属性名之外的字段；根据所述待抽取字段的属性名、属性值、属性值类型及所述确定的相对位置信息，生成网页数据抽取模板。