[发明专利]确定网页质量的装置及方法

说明书

技术领域

本发明涉及网络数据通信技术领域，具体涉及确定网页质量的装置及方法。

背景技术

搜索引擎的蜘蛛程序每天能够发现大量的互联网中新产生的URL。因为搜索引擎每天能够实际抓取的URL数量有限，所以蜘蛛程序在进行抓取之前，需要对发现的URL进行选择，从中选择高质量的URL进行抓取。在现有技术中，对URL进行质量确定的方法包括如下两种。一种是根据网页内容确定URL对应的网页的质量。另一种是和该网页内容类似的网页的抓取量来确定URL对应的网页的质量。例如，如果和该网页内容类似的网页的抓取量较大时，降低URL对应的网页的抓取概率。

但是，通过网页内容或相关网页的抓取量来确定网页质量，需要获得较多的信息，并且对信息的处理复杂，导致确定网页质量的操作的效率较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的确定网页质量的装置及方法。

依据本发明的一个方面，提供了一种确定网页质量的装置，该装置包括：

获取模块，适于获取待确定网页URL和URL对应的锚文字；

分类模块，适于根据所述URL所属的网址模式，将所述URL划分为各个类别；

查找模块，适于在各个类别中，根据URL对应的锚文件查找出具有相似内容的多个URL；

确定模块，适于对于具有相似内容的多个URL，根据URL的预设特征确定URL对应的网页的质量。

可选地，所述查找模块，进一步包括：

计算子模块，适于根据URL对应的锚文字计算类别中各个URL间的相似度；

查找子模块，适于根据URL间相似度查找出类别中具有相似内容的多个URL。

可选地，所述确定模块，进一步适于根据URL的关注度从所述具有相似内容的多个URL中选择URL，对选择的URL进行网页抓取。

可选地，所述分类模块，进一步适于将属于同一网站的具有同一网址模式的URL划分到同一类别。

可选地，所述确定模块，进一步适于按URL的关注度对所述具有相似内容的多个URL进行排序；选择排序中的前N个URL进行网页抓取，其中，N为预设正整数。

可选地，所述计算子模块，进一步适于将同一类别中URL对应的锚文字分别进行分词，从分词所得词条中确定关键词；根据锚文字中关键词计算URL间相似度。

可选地，所述查找模块还包括：

去除子模块，适于在将同一类别中URL对应的锚文字分别进行分词之后，利用预设词表从对锚文字分词所得词条中，去除掉与锚文字的特征无关词条。

可选地，所述计算子模块，进一步适于根据词条所对应的频率，从分词所得词条中确定关键词。

根据本发明的另一方面，提供了一种确定网页质量的方法，该方法包括：

获取待确定网页URL和URL对应的锚文字；

根据所述URL所属的网址模式，将所述URL划分为各个类别；

在各个类别中，根据URL对应的锚文件查找出具有相似内容的多个URL；

对于具有相似内容的多个URL，根据URL的预设特征确定URL对应的网页的质量。

可选地，所述根据URL对应的锚文件查找出具有相似内容的多个URL，进一步包括：

根据URL对应的锚文字计算类别中各个URL间的相似度；

根据URL间相似度查找出类别中具有相似内容的多个URL。

可选地，所述根据URL的预设特征确定URL对应的网页的质量，进一步包括：

根据URL的关注度从所述具有相似内容的多个URL中选择URL，对选择的URL进行网页抓取。

可选地，所述根据所述URL所属的网址模式，将所述URL划分为各个类别，进一步包括：

将属于同一网站的具有同一网址模式的URL划分到同一类别。

可选地，所述根据URL的关注度从所述具有相似内容的多个URL中选择URL，对选择的URL进行网页抓取进一步包括：

按URL的关注度对所述具有相似内容的多个URL进行排序；

选择排序中的前N个URL进行网页抓取，其中，N为预设正整数。

可选地，所述根据URL对应的锚文字计算类别中各个URL间的相似度，进一步包括：

将同一类别中URL对应的锚文字分别进行分词，从分词所得词条中确定关键词；

根据锚文字中关键词计算URL间相似度。

可选地，所述方法还包括：