[发明专利]一种识别相似网页的方法及装置

权利要求书

1.一种识别相似网页的方法，其特征在于，所述方法包括：

分别获取待分类的第一网页的超文本标记语言HTML元素信息和已知类别信息的第二网页的HTML元素信息；

根据所述第一网页和所述第二网页的HTML元素信息，计算所述第一网页和所述第二网页的相似度；

当所述相似度大于预设相似阈值时，确定所述第一网页和所述第二网页为相似网页。

2.根据权利要求1所述的方法，其特征在于，所述分别获取待分类的第一网页和已知类别信息的第二网页的超文本标记语言HTML元素信息，包括：

根据待分类的第一网页的统一资源定位符URL地址，获取所述第一网页的文档对象模型DOM结构信息；

在已知类别网页数据库中获取已知类别信息的第二网页的DOM结构信息；

分别对所述第一网页的DOM结构信息和所述第二网页的DOM结构信息进行广度优先遍历，生成所述第一网页的HTML元素信息的第一序列集合和所述第二网页的HTML元素信息的第二序列集合；

删除所述第一序列集合中与网页结构无关的HTML元素信息以及所述第二序列集合中与网页结构无关的HTML元素信息。

3.根据权利要求2所述的方法，其特征在于，所述删除所述第一序列集合中与网页结构无关的HTML元素信息以及所述第二序列集合中与网页结构无关的HTML元素信息，包括：

将所述第一序列集合中未在预设的与网页结构相关的HTML元素信息列表中存在的HTML元素信息进行删除；

将所述第二序列集合中未在预设的与网页结构相关的HTML元素信息列表中存在的HTML元素信息进行删除。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一网页和所述第二网页的HTML元素信息，计算所述第一网页和所述第二网页的相似度，包括：

获取所述第一序列集合包括的HTML元素信息的第一数量；

获取所述第二序列集合包括的HTML元素信息的第二数量；

根据所述第一数量和所述第二数量，计算所述第一网页和所述第二网页的相似度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一数量和所述第二数量，计算所述第一网页和所述第二网页的相似度，包括：

若所述第一数量等于所述第二数量，则根据序列相似度算法计算所述第一序列集合与所述第二序列集合的相似度，并将所述相似度确定为所述第一网页和所述第二网页的相似度；

若所述第一数量大于所述第二数量，则在所述第一序列集合中按顺序选取所述第二数量的HTML元素信息作为新的第一序列集合，并根据序列相似度算法计算所述新的第一序列集合与所述第二序列集合的相似度，并将所述相似度确定为所述第一网页和所述第二网页的相似度；

若所述第一数量小于所述第二数量，则在所述第二序列集合中按顺序选取所述第一数量的HTML元素信息作为新的第二序列集合，并根据序列相似度算法计算所述第一序列集合与所述新的第二序列集合的相似度，并将所述相似度确定为所述第一网页和所述第二网页的相似度。

6.根据权利要求1所述的方法，其特征在于，所述确定所述第一网页和所述第二网页为相似网页之后，所述方法还包括：

获取所述第二网页的类别信息；

将所述第一网页的类别信息设置为所述第二网页的类别信息。

7.一种识别相似网页的装置，其特征在于，所述装置包括：

第一获取模块，用于分别获取待分类的第一网页的超文本标记语言HTML元素信息和已知类别信息的第二网页的HTML元素信息；

计算模块，用于根据所述第一网页和所述第二网页的HTML元素信息，计算所述第一网页和所述第二网页的相似度；

确定模块，用于当所述相似度大于预设相似阈值时，确定所述第一网页和所述第二网页为相似网页。