[发明专利]一种网页模板的提取方法和装置

说明书

技术领域

本发明涉及网络技术领域，特别涉及一种网页模板的提取方法和装置。

背景技术

在大数据生态链中，互联网数据的采集和解析，处于生态链的前端，是数据挖掘分析的前提。互联网的网页，其模板千差万别，即使是同一网站，也可能同时存在不同的模板，而不同的时期，模板也会相应改变，以减少因乏味、审美疲劳造成的客户流失。其中，网页模板一般是指网页的结构化，比如，一个网页展示的文字和图像结构，图片的插入位置等。

而目前的网页解析技术，大多还是针对不同网页模板进行不同的解析程序编写。因此，要保证解析程序的编写，提高网页解析质量的关键，以便更好地完成网页解析，则要求能够从大量的网页中提取出网页模板。

发明内容

本发明提供一种提取网页模板的方法和装置，能够解决现有技术中无法提取网页模板的问题。

一种网页模板的提取方法，包括：

利用各个网页，分别构建各个DOM树；

将各个DOM树中的节点名称按广度遍历加入各个队列，生成各个DOM树节点队列；

对所有DOM树节点队列，按队列顺序取出节点名称进行比较，相同的加入DOM分类树节点中，不同的建立树分叉然后加入，得到对应各分类网页的DOM树网页模板。

所述利用各个网页，分别构建各个DOM树包括：

使用Jsoup将每一个网页的网页源码构建为一个DOM树，生成Document对象实例；使用Jsoup的select()方法找到注释类元素并删除。

所述生成各个DOM树节点队列包括：

对每一个DOM树d₁，d₂，...，d_n进行广度遍历，按遍历顺序使用tagName()取出元素标签名称，将树节点的节点名称加入队列中，得到n个队列Q＝{q₁，q₂，...，q_n}，其中q_i＝{tn_i1，tn_i2，...，tn_ix}，(1≤i≤n)，tn_ij(1≤j≤x)表示第i个队列中的第j个元素的标签名称，其中得到q_i的过程包括：

c)创建两个队列q_e，q_i，将根节点加入这两个队列中，q_e队列作为进行广度遍历的暂存队列，q_i保存广度遍历结果；

d)从q_e队列头出队列一个元素，使用children()获得所有子元素，加入到q_e和q_i的队尾；

重复b)步，直到q_e队列为空为止，得到一个DOM树遍历队列q_i。

所述得到对应各分类网页的网页模板DOM树包括：

设类别树节点的结构为node＝{child，tagname，brother，listqid}，其中，child记录该节点的第一个子节点，tagname保存当前节点元素的标签名称，brother保存当前节点的相邻兄弟节点，listid保存与从根节点到当前节点所构成树节点序列一致的所有q_i的下标，也就是i值的列表，包括：