[发明专利]网页筛选方法及装置

权利要求书

1.一种网页筛选方法，其特征在于，适用于网络爬虫系统，所述方法包括：

抓取预设种子网页；

获取所述预设种子网页中所包含的URL信息；

计算所述URL信息对应的网页质量分数；

按照预设网络地址信息，将所述URL信息划分到相应的候选集合中，其中，同一候选集合的URL信息对应同一网络地址；

从每一候选集合中筛选出数量不超过相应预设压力配额的URL信息，其中，筛选出的URL信息对应的网页质量分数不低于相应候选集合中任意剩余URL信息对应的网页质量分数，所述预设压力配额为依据网络地址所对应的抓取压力值确定出；

将筛选出的URL信息对应的网页作为目标抓取网页。

2.根据权利要求1所述的方法，其特征在于，当首次抓取网页时，抓取预设种子网页包括：抓取默认导航页。

3.根据权利要求1所述的方法，其特征在于，当非首次抓取网页时，抓取预设种子网页包括：抓取之前所确定出的目标抓取网页。

4.根据权利要求1所述的方法，其特征在于，所述预设网络地址信息包括：

网页模式信息、站点信息或主域信息。

5.根据权利要求1所述的方法，其特征在于，从一候选集合中筛选出数量不超过相应预设压力配额的URL信息，包括：

将候选集合中URL信息按照网页质量分数进行降序排列；

将已筛选数量初始化为0；

按照降序序列，依次处理所述候选集合中的URL信息：

判断已筛选数量是否不大于预设压力配额，如果是，将当前的URL信息作为筛选出的URL信息，并将已筛选数量加1；否则，结束对所述候选集合中URL信息的筛选处理。

6.根据权利要求1所述的方法，其特征在于，从一候选集合中筛选出数量不超过相应预设压力配额的URL信息，包括：

判断候选集合中所包含URL信息的数量是否不超过相应预设压力配额；如果是，将所述候选集合中所包含的所有URL信息作为筛选出的URL信息；

否则，

将所述候选集合中URL信息按照网页质量分数进行降序排列；

将已筛选数量初始化为0；

按照降序序列，依次处理所述候选集合中的URL信息：

判断已筛选数量是否不大于预设压力配额，如果是，将当前的URL信息作为筛选出的URL信息，并将已筛选数量加1；否则，结束对所述候选集合中URL信息的筛选处理。

7.一种网页筛选装置，其特征在于，适用于网络爬虫系统，所述网页筛选装置包括：

种子网页抓取模块，用于抓取预设种子网页；

URL信息确定模块，用于获取所述预设种子网页中所包含的URL信息；

网页质量分数确定模块，用于计算所述URL信息对应的网页质量分数；

候选集合确定模块，用于按照预设网络地址信息，将所述URL信息划分到相应的候选集合中，其中，同一候选集合的URL信息对应同一网络地址；

URL信息筛选模块，用于从每一候选集合中筛选出数量不超过相应预设压力配额的URL信息，其中，筛选出的URL信息对应的网页质量分数不低于相应候选集合中任意剩余URL信息对应的网页质量分数，所述预设压力配额为依据网络地址所对应的抓取压力值确定出；

目标抓取网页确定模块，用于将筛选出的URL信息对应的网页作为目标抓取网页。

8.根据权利要求7所述的装置，其特征在于，所述种子网页抓取模块，包括：

第一种子网页抓取单元，用于当首次抓取网页时，抓取默认导航页。

9.根据权利要求7所述的装置，其特征在于，所述种子网页抓取模块，包括：

第二种子网页抓取单元，用于当非首次抓取网页时，抓取之前所确定出的目标抓取网页。