[发明专利]网页相似度确定方法、网页聚类方法、装置及电子设备

权利要求书

1.一种基于路径相似度的网页相似度确定方法，其特征在于，包括：

确定第一网页的第一叶子节点路径集、第二网页的第二叶子节点路径集；

基于所述第一叶子节点路径集中叶子节点路径与所述第二叶子节点路径集中叶子节点路径之间的相似度确定所述第一网页与所述第二网页的相似度。

2.根据权利要求1所述的方法，其特征在于，确定第一网页的第一叶子节点路径集、第二网页的第二叶子节点路径集，包括：

确定所述第一网页对应的DOM树、第二网页对应的DOM树；

基于确定的所述第一网页的DOM树、第二网页对应的DOM树，确定第一网页的第一叶子节点路径集、第二网页的第二叶子节点路径集。

3.根据权利要求1所述的方法，其特征在于，基于所述第一叶子节点路径集中叶子节点路径与所述第二叶子节点路径集中叶子节点路径之间的相似度确定所述第一网页与所述第二网页的相似度，包括：

通过如下公式确定第一网页与所述第二网页的相似度：

其中，p_1h表示第一网页对应的DOM树T₁中第k个叶子节点对应的叶子节点路径，p_2h表示第二网页对应的DOM树T₂中第k个叶子节点对应的叶子节点路径，P₁表示第一叶子节点路径集合，P₂表示第二叶子节点路径集合，n表示第一网页DOM树T₁的叶子节点数量，m表示第二网页对应的DOM树T₂的叶子节点数量；

其中，sim(p_1h，P₂)表示叶子节点路径p_1h与第二叶子节点路径集中各叶子节点路径相似度的最大值，sim(p_2h，P₁)表示叶子节点路径p_2h与第一叶子节点路径集P₁中各叶子节点路径相似度的最大值。

4.根据权利要求1-3任一项所述的方法，其特征在于，两个叶子节点路径的相似度计算公式如下：

其中，a表示叶子节点路径pi的节点数，b表示叶子节点路径pj的节点数，k为两个叶子节点路径以根为起始的最长公共序列长度。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：

获取第一网页对应的URL、第二网页对应的URL；

基于获取的第一网页对应的URL与第二网页对应的URL的相似度确定第一网页与第二网页的第一相似度；

所述基于所述第一叶子节点路径集中叶子节点路径与所述第二叶子节点路径集中叶子节点路径之间的相似度确定所述第一网页与所述第二网页的相似度，包括：

基于所述第一叶子节点路径集中叶子节点路径与所述第二叶子节点路径集中叶子节点路径之间的相似度确定所述第一网页与所述第二网页的第二相似度；

基于所述第一相似度与多数第二相似度确定第一网页与所述第二网页的相似度。

6.一种网页聚类方法，其特征在于，包括：

步骤一，从待分类网页中随机确定某一网页作为一个类别；

步骤二，通过基于路径相似度的网页相似度确定方法分别确定述某一网页与所述待分类网页中的其他网页的相似度；

步骤三，将相似度在阈值范围内的网页归为与所述某一网页同一类别，并将剩余的网页作为待分类网页；

步骤四，重复执行步骤一到步骤三，直至所有的待分类网页分类完毕。

7.根据权利要求6所述的方法，其特征在于，基于路径相似度的网页相似度确定方法，包括：

确定第一网页的第一叶子节点路径集、第二网页的第二叶子节点路径集；

基于所述第一叶子节点路径集中叶子节点路径与所述第二叶子节点路径集中叶子节点路径之间的相似度确定所述第一网页与所述第二网页的相似度。