[发明专利]一种爬取网络数据的方法和装置

权利要求书

1.一种爬取网络数据的方法，其特征在于，所述方法包括：

按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；

在每次选取待爬取的域名后，获取预先存储的所述待爬取的域名对应的时间间隔阈值，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过获取到的时间间隔阈值，则选取下一个待爬取的域名；

接收网址添加指令，所述网址添加指令中携带有待添加网址；

获取所述待添加网址对应的域名，如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，则丢弃所述待添加网址，如果获取到的域名对应的网址队列中不存在与所述待添加网址相同的网址，则将所述待添加网址添加到所述网址队列中。

2.根据权利要求1所述的方法，其特征在于，所述如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，包括：

如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则根据预先存储的所述选取的域名对应的网址队列中各网址的优先级，在所述选取的域名对应的网址队列中抽取一个待爬取的网址，对所述待爬取的网址进行网络数据爬取。

3.根据权利要求1所述的方法，其特征在于，所述网址添加指令中还携带有所述待添加网址的优先级；

所述如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，则丢弃所述待添加网址，包括：

如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，且所述待添加网址的优先级低于或等于所述网址队列中与所述待添加网址相同的网址的优先级，则丢弃所述待添加网址；

所述方法还包括：

如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，且所述待添加网址的优先级高于所述网址队列中与所述待添加网址相同的网址的优先级，则将所述待添加网址添加到所述网址队列中。

4.一种爬取网络数据的装置，其特征在于，所述装置包括：

选取模块，用于按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；

爬取模块，用于在每次选取待爬取的域名后，获取预先存储的所述待爬取的域名对应的时间间隔阈值，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过获取到的时间间隔阈值，则选取下一个待爬取的域名；

接收模块，用于接收网址添加指令，所述网址添加指令中携带有待添加网址；

添加模块，用于获取所述待添加网址对应的域名，如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，则丢弃所述待添加网址，如果获取到的域名对应的网址队列中不存在与所述待添加网址相同的网址，则将所述待添加网址添加到所述网址队列中。

5.根据权利要求4所述的装置，其特征在于，所述爬取模块，用于：

如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则根据预先存储的所述选取的域名对应的网址队列中各网址的优先级，在所述选取的域名对应的网址队列中抽取一个待爬取的网址，对所述待爬取的网址进行网络数据爬取。

6.根据权利要求4所述的装置，其特征在于，所述网址添加指令中还携带有所述待添加网址的优先级；

所述添加模块，用于：

如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，且所述待添加网址的优先级低于或等于所述网址队列中与所述待添加网址相同的网址的优先级，则丢弃所述待添加网址；

所述添加模块，还用于：

如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，且所述待添加网址的优先级高于所述网址队列中与所述待添加网址相同的网址的优先级，则将所述待添加网址添加到所述网址队列中。