[发明专利]确定网页质量的装置及方法

权利要求书

1.一种确定网页质量的装置，该装置包括：

获取模块，适于获取待确定网页URL和URL对应的锚文字；

分类模块，适于根据所述URL所属的网址模式，将所述URL划分为各个类别；

查找模块，适于在各个类别中，根据URL对应的锚文件查找出具有相似内容的多个URL；

确定模块，适于对于具有相似内容的多个URL，根据URL的预设特征确定URL对应的网页的质量。

2.根据权利要求1所述的装置，其中，所述查找模块，进一步包括：

计算子模块，适于根据URL对应的锚文字计算类别中各个URL间的相似度；

查找子模块，适于根据URL间相似度查找出类别中具有相似内容的多个URL。

3.根据权利要求1或2所述的装置，其中，所述确定模块，进一步适于根据URL的关注度从所述具有相似内容的多个URL中选择URL，对选择的URL进行网页抓取。

4.根据权利要求1至3任一所述的装置，其中，所述分类模块，进一步适于将属于同一网站的具有同一网址模式的URL划分到同一类别。

5.根据权利要求1-4任一项所述的装置，其中，所述确定模块，进一步适于按URL的关注度对所述具有相似内容的多个URL进行排序；选择排序中的前N个URL进行网页抓取，其中，N为预设正整数。

6.根据权利要求1-5任一项所述的装置，其中，所述计算子模块，进一步适于将同一类别中URL对应的锚文字分别进行分词，从分词所得词条中确定关键词；根据锚文字中关键词计算URL间相似度。

7.根据权利要求1-6任一项所述的装置，其中，所述查找模块还包括：

去除子模块，适于在将同一类别中URL对应的锚文字分别进行分词之后，利用预设词表从对锚文字分词所得词条中，去除掉与锚文字的特征无关词条。

8.根据权利要求1-7任一项所述的装置，其中，所述计算子模块，进一步适于根据词条所对应的频率，从分词所得词条中确定关键词。

9.一种确定网页质量的方法，该方法包括：

获取待确定网页URL和URL对应的锚文字；

根据所述URL所属的网址模式，将所述URL划分为各个类别；

在各个类别中，根据URL对应的锚文件查找出具有相似内容的多个URL；

对于具有相似内容的多个URL，根据URL的预设特征确定URL对应的网页的质量。

10.根据权利要求9所述的方法，其中，所述根据URL对应的锚文件查找出具有相似内容的多个URL，进一步包括：

根据URL对应的锚文字计算类别中各个URL间的相似度；

根据URL间相似度查找出类别中具有相似内容的多个URL。