[发明专利]一种页面内容提取方法和装置

说明书

本发明公开了一种页面内容提取方法和装置。该方法包括：获取页面对应的目标文档对象模型DOM树；从所述目标DOM树的根元素节点开始，针对所述目标DOM树中的元素节点执行渲染区域去重处理，得到去重DOM树；在所述去重DOM树中，提取每个元素节点的视觉特征；解析并且执行预设的接口模板，通过所述接口模板从多个所述视觉特征中提取所述页面的页面内容；其中，所述接口模板中设置了用于匹配所述页面内容的内容提取条件。本实施例利用视觉特征这一较为稳定的特征来定位元素节点，更加便于理解，不易出现定位失败的问题，而且接口模板是以声明的方式提取页面内容，提取方式便捷易操作。

技术领域

本发明涉及互联网技术领域，尤其涉及一种页面内容提取方法和装置。

背景技术

页面内容提取是从非格式化数据的HTML(Hyper Text Markup Language，超级文本标记语言)网页中，解析出有用数据，并将有用数据转换成格式化数据的过程。

目前，页面内容提取主要使用CSS(Cascading Style Sheets，层叠样式表)选择器或者XPATH(Xml Path Language，可扩展标记语言路径语言)路径，在HTML网页对应的DOM(Document Object Model，文档对象模型)树中，定位元素节点，并提取元素节点对应的页面内容。但是，由于页面的DOM树具有易变性，使用CSS选择器或者XPATH路径容易发生定位失败的问题，而且页面样式的复杂度较高且变化较大，使得编码复杂度较高。

发明内容

本发明实施例的主要目的在于提供一种页面内容提取方法和装置，以解决现有技术中，由于页面的DOM树具有易变性，使用CSS选择器或者XPATH路径容易发生定位失败的问题。

针对上述技术问题，本发明实施例是通过以下技术方案来解决的：

本发明实施例提供了一种页面内容提取方法，包括：获取页面对应的目标文档对象模型DOM树；从所述目标DOM树的根元素节点开始，针对所述目标DOM树中的元素节点执行渲染区域去重处理，得到去重DOM树；在所述去重DOM树中，提取每个元素节点的视觉特征；解析并且执行预设的接口模板，通过所述接口模板从多个所述视觉特征中提取所述页面的页面内容；其中，所述接口模板中设置了用于匹配所述页面内容的内容提取条件。

其中，在所述目标DOM树中，提取展示类的元素节点的视觉特征之前，还包括：将所述页面解析为DOM树；在所述DOM树中，确定一个目标元素节点；在所述DOM树中，获取目标DOM树；其中，所述目标DOM树的根元素节点为所述目标元素节点。

其中，所述针对所述目标DOM树中的元素节点执行渲染区域去重处理，得到去重DOM树，包括：从所述目标DOM树的根元素节点开始，针对所述目标DOM树中的每个父元素节点执行以下操作，得到去重DOM树：比较所述父元素节点以及所述父元素节点的子元素节点；在所述父元素节点的渲染区域和所述子元素节点的渲染区域相同时，在所述目标DOM树中舍弃所述父元素节点；在所述父元素节点的渲染区域覆盖所述子元素节点的渲染区域，并且所述父元素节点仅有所述子元素节点为文本语义类型时，在所述目标DOM树中舍弃所述子元素节点。

其中，所述在所述去重DOM树中，提取元素节点的视觉特征，包括：针对所述去重DOM树中的每个元素节点执行下钻操作，以便确定所述元素节点对应的视觉特征；其中，所述元素节点对应的视觉特征包括：所述元素节点对应的信息块，或者，所述元素节点对应的信息块集合；所述元素节点对应的信息块集合包括：所述元素节点的每个子元素节点对应的信息块或者信息块集合；信息块所述信息块是根据所述信息块对应的元素节点的属性信息构建的。