[发明专利]网页数据抽取模板生成方法、装置、计算机装置及存储介质

说明书

本发明适用于互联网技术领域，提供了网页数据抽取模板生成方法、装置、计算机装置及存储介质，该方法包括：从样本网页中标注待抽取字段，设置待抽取字段的字段属性，将待抽取字段及字段属性作为网页抽取样本存入抽取样本集；在网页抽取样本的数目大于或等于2时，遍历网页抽取样本的待抽取字段，生成字段样本集；从转换到的DOM树中选择当前待抽取字段的候选节点集合，对比每个待抽取字段对应的候选节点集合，将候选节点集合中一直不变的节点作为所述当前待抽取字段的目标节点；确定属性值相对于属性名的位置信息，根据属性名及位置信息生成网页数据抽取模板。本发明提供的网页数据抽取模板生成方法，可提高网页数据抽取模板的生成效率。

技术领域

本发明属于互联网技术领域，尤其涉及一种网页数据抽取模板生成方法、装置、计算机装置及存储介质。

背景技术

随着互联网的飞速发展，网络信息资源呈指数级增长趋势，网页中汇聚了人物简历、企业信息、知识产权、商品信息等各行业、各领域的海量有价值数据，对于知识发现、信息检索、数据挖掘等应用能提供很大的帮助。如何更加便捷、准确地分析页面、提取有价值的数据，已成为重要研究问题。

现有的网站内容抽取主要分为两类：第一类是新闻类型网站，新闻类型网站网页一般包含标题、时间、作者、大段文本描述；针对新闻类型网站网页，已有方法工具通过计算网页文本的密度就可以对这些内容完成抽取；第二类是一些格式复杂的网站，例如一个购物网站的产品详情页、个人简历页面、企业信息页面，格式复杂的网站网页页面，随着类型不同，页面内容也不尽相同；针对格式复杂的网站，现有的方法工具都通过人工编写模板的方式生成抽取模式。基于人工配置模板的方法需要根据不同的网页编写不同的模板，而且对于重复出现的内容，需要编写多次抽取模式，导致在现有网页模板生成过程中存在人工开销大，重复性工作较多，模板泛化能力较差的问题。

发明内容

本发明实施例提供一种网页数据抽取模板生成方法，旨在解决现有网页模板生成过程中存在人工开销大，重复性工作较多，模板适应性较差的问题。

本发明是这样实现的，一种网页数据抽取模板生成方法，包括：

从样本网页中标注待抽取字段，对所述待抽取字段设置字段属性，将所述待抽取字段及所述字段属性作为网页抽取样本存入抽取样本集中，所述字段属性包括属性名、属性值、属性类型、字段在页面是否重复出现、基于HTML属性标签的CSS路径；

在所述抽取样本集中网页抽取样本的数目大于或等于2的情况下，遍历所述网页抽取样本中的所有待抽取字段，生成字段样本集，所述字段样本集包括至少两个具有相同唯一标识的待抽取字段，所述唯一标识根据所述字段属性中的属性名及模板名称组成；

遍历字段样本集中的每个待抽取字段，将所述每个待抽取字段的原始HTML网页转换为对应的DOM树，按照JQuery规范基于HTML属性标签对所述DOM树的位置特征进行描述，生成相应的CSS路径，根据所述CSS路径从所述转换的DOM树中选择当前待抽取字段的候选节点集合，对比所述每个待抽取字段对应的候选节点集合，将候选节点集合中一直不变的节点作为所述当前待抽取字段的目标节点；

将所述待抽取字段与所述目标节点进行对比，确定所述待抽取字段中的属性值相对于所述目标节点的相对位置信息，其中，所述属性值为所述待抽取字段中除所述属性名之外的字段；根据所述待抽取字段的属性名、属性值、属性值类型及所述确定的相对位置信息，生成网页数据抽取模板。

可选的，所述从样本网页中标注待抽取字段之前，所述的网页数据抽取模板的生成方法还包括：

对样本网页设置样本参数，其中，所述样本参数包括：待保存的数据库名称、所属网页类型名称及模板名称。

可选的，所述遍历所述网页抽取样本中的所有待抽取字段，生成字段样本集包括以下过程：