[发明专利]确定网站抓取流量配额的方法及设备

权利要求书

1.一种确定网站抓取流量配额的方法，包括：

获取待抓取目标网站的受访问数据；

根据所述受访问数据，确定所述目标网站的抓取承受流量；

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的流量配额。

2.如权利要求1所述的方法，所述获取待抓取目标网站的受访问数据，包括：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

3.如权利要求1或2所述的方法，所述根据所述受访问数据，确定所述目标网站的抓取承受流量，包括：

根据所述受访问数据，确定所述目标网站的可承受访问总量；

根据所述可承受访问总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

4.如权利要求1-3任一项所述的方法，所述根据所述受访问数据，确定所述目标网站的可承受访问总量，包括：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

5.如权利要求1-4任一项所述的方法，所述获取所述目标网站内网页的网页质量分布，包括：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

6.一种确定网站抓取流量配额的设备，包括：

网站访问数据获取单元，适于获取待抓取目标网站的受访问数据；

网站承受力确定单元，适于根据所述受访问数据，确定所述目标网站的抓取承受流量；

网页质量分布获取单元，适于获取所述目标网站内网页的网页质量分布；

任务流量获取单元，适于根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

流量配额确定单元，适于根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的流量配额。

7.如权利要求6所述的设备，所述网站访问数据获取单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

8.如权利要求6或7所述的设备，所述网站承受力确定单元，包括：

访问量确定子单元，适于根据所述受访问数据，确定所述目标网站的可承受访问总量；

所述网站承受力确定单元，适于根据所述可承受访问总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

9.如权利要求6-8任一项所述的设备，所述访问量确定子单元，适于：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

10.如权利要求6-9任一项所述的设备，所述网页质量分布获取单元，适于：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。