[发明专利]一种复杂网页结构化信息精确提取方法、设备及存储介质

说明书

本发明公开了一种复杂网页结构化信息精确提取方法、设备及存储介质，该方法包括：针对目标网页，收集一批样本网页；根据样本网页制定各个区块的查找规则和匹配规则；结合区块情况确定条目的查找规则和匹配规则；在区块内确定定位节点的查找规则和匹配规则；针对字段节点，确定从定位节点到此字段节点的查找规则和匹配规则；通过基于规则或机器学习的方法自动提取各个样本网页中的字段信息；根据提取的字段信息自动生成解析模板；对自动生成的解析模板进行校对纠正；针对任意HTML网页，根据域名、路径和文本特征选择对应的模板解析提取。本发明基于复杂网页特点，将其划分为多个区块，并利用定位节点的固有特征，提高了字段节点定位准确度。

技术领域

本发明涉及电数字数据处理技术领域，尤其涉及一种复杂网页结构化信息精确提取方法、设备及存储介质。

背景技术

随着互联网和Web技术的快速发展，HTML网页成为越来越广泛使用的一种数据传输形式，然而绝大部分网页由于其内容、形式和风格的不同而在结构上有巨大差异。这给从HTML网页中提取信息带来了很大的挑战；所以从HTML中准确提取结构化信息是一项艰巨而又有意义的任务。

从HTML网页中提取信息，主要可以分为两种场景：一是从HTML中提取正文及标题等内容，主要针对资讯类网页；二是从HTML中提取结构化字段信息，主要针对属性较多的内容，如商品信息、简历信息、表单信息等。

针对资讯类网页信息提取，常见的方法主要有：

1）按节点名称针对性提取；按节点路径频率或信息量过滤无效内容；按正则直接匹配提取内容。按节点名称针对性提取方法，如“CN 111274515 A 基于HTML标签匹配的网页数据提取方法”，直接按要提取的字段从指定的标签节点中提取，如标题对应title节点，样式对应style节点，可提取的内容非常有限；

2）按节点路径频率或信息量过滤无效内容方法，如“CN110020302A 提取网页内容的方法和网页内容提取装置”，针对一类网页提取每个文本节点的模式，模式按节点TagName和3级父节点的TagName拼成，如果某个模式出现次数超过阈值，则将符合此模式的从HTML文档中删除，剩余部分即正文内容，此种方法只能提取正文，且容易出现漏删和多删的问题；

3）按正则直接匹配提取内容，如“CN 111966881 A 一种网页信息提取方法及系统、电子设备”，对目标网页选取一些网页样本，根据样本制定字段提取规则，人工检验后，用此规则对目标网页进行提取。此方法是使用规则对节点文本进行查找匹配，忽略了DOM结构特征，容易出现错漏；

4）规则+机器学习方法过滤非正文内容，如“CN 110457579 A基于模板和分类器协同工作的网页去噪方法及系统”，对资讯类网页进行预处理，数量达到阈值时，根据块级节点特征生成过滤模板，对非正文节点进行过滤，再通过机器学习方法判断剩余节点是否是正文，最终得到过滤了无关内容的正文文本。此方法正确率98.64%，召回率93.46%。

针对网页中结构化字段信息提取，常见方法主要有：一）根据DOM相似度匹配提取；二）基于节点索引路径或节点标签路径提取；三）使用XPath+正则提取字段信息；四）使用CssSelector+正则提取字段信息；五）基于无格式文本提取字段信息。

本发明针对的场景是复杂网页中结构化字段信息提取。一些常规的结构化字段网页，如商品介绍或职位介绍，字段一般只有十几个，且有明确的特征，字段对应的HTML元素固定不变，可以很容易地通过CssSelector或正则等特征提取。然而一些复杂的网页，如简历信息网页，涉及的候选人字段信息多达200多个，为了在有限的页面上展示尽可能全面的信息，一般招聘网站会隐藏字段值为空的字段对应的节点，这就导致一些字段节点索引链发生变化，进而其对应的XPath或CssSelector会发生变化，所以单纯基于XPath或CssSelector的字段提取方案难以针对复杂网页实现准确提取。

然而现有技术存在以下缺陷：