[发明专利]一种网页模板的提取方法和装置

权利要求书

1.一种网页模板的提取方法，其特征在于，包括：

利用各个网页，分别构建各个DOM树；

将各个DOM树中的节点名称按广度遍历加入各个队列，生成各个DOM树节点队列；

对所有DOM树节点队列，按队列顺序取出节点名称进行比较，相同的加入DOM分类树节点中，不同的建立树分叉然后加入，得到对应各分类网页的DOM树网页模板。

2.根据权利要求1所述的方法，其特征在于，所述利用各个网页，分别构建各个DOM树包括：

使用Jsoup将每一个网页的网页源码构建为一个DOM树，生成Document对象实例；使用Jsoup的select()方法找到注释类元素并删除。

3.根据权利要求1所述的方法，其特征在于，所述生成各个DOM树节点队列包括：

对每一个DOM树d₁,d₂,…,d_n进行广度遍历，按遍历顺序使用tagName()取出元素标签名称，将树节点的节点名称加入队列中，得到n个队列Q＝{q₁,q₂,…,q_n}，其中q_i＝{tn_i1,tn_i2,…,tn_iX},(1≤i≤n)，tn_ij(1≤j≤x)表示第i个队列中的第j个元素的标签名称,其中得到q_i的过程包括：

a)创建两个队列q_e,q_i，将根节点加入这两个队列中，q_e队列作为进行广度遍历的暂存队列，q_i保存广度遍历结果；

b)从q_e队列头出队列一个元素，使用children()获得所有子元素,加入到q_e和q_i的队尾；

重复b)步，直到q_e队列为空为止，得到一个DOM树遍历队列q_i。

4.根据权利要求1或3所述的方法，其特征在于，所述得到对应各分类网页的网页模板DOM树包括：

设类别树节点的结构为node＝{child,tagname，brother,listqidd,其中，child记录该节点的第一个子节点，tagname保存当前节点元素的标签名称，brother保存当前节点的相邻兄弟节点，listid保存与从根节点到当前节点所构成树节点序列一致的所有q_i的下标，也就是i值的列表,包括：

a)从Q＝{q₁,q₂,…,q_n}中，取出{tn₁₁,tn₂₁,…,tn_n1}，以tn₁₁为初始值，新建node₁₁，表示类别树第一层的第一个节点，tn₁₁→node₁₁.tagname，1→node₁₁.listqid，将tn₂₁与tn₁₁比较，如果tn₂₁＝tn₁₁，则将2加入node₁₁.listqid列表；如果不同，新建node₁₂，作为类别树第一层的第二个节点,tn₂₁→node₁₂.tagname，2→node₁₂.listqid，node₁₂→node₁₁.brother,依次将tn_i1(2≤i≤n)与类别树第一层的所有节点node₁₁、node₁₂、…、node_1m的tagname进行比较，相同的则将i值加入当前节点的listqid列表中，不同的则新建node_1(m+1)，做类似上述node2的操作，将node_1(m+1)赋予node_1m.brother，并将i值加入node_1(m+1).listqid，创建出类别树的第1层；

b)假设类别树的第k层已经扩展完毕，开始扩展类别树的k+1层,从第k层的第一个节点node_k1开始构建子树，取出node_k1.listqid列表的第一个值i(从原列表中删除)所代表的q_i的第k+1个值tn_i(k+1)，新建node_(k+1)1，赋予node_k1.child。并依次取出node_k1.listqid的队列id(从原列表中删除)，将其代表的队列的第k+1个元素标签名称与tn_i(k+1)比较，依照a)中所述类别树扩展方式产生该子树。然后通过node_k1.brother取得node_k2，扩展第二个子树，依次类推，直至第k层所有节点的子树全部生成，

重复步骤b)，将Q中所有队列的所有元素全部比较完成，得到一个完整的网页模板DOM树。