[发明专利]一种爬取网络数据的方法和装置

摘要

本发明公开了一种爬取网络数据的方法和装置，属于互联网技术领域。所述方法包括：按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；在每次选取待爬取的域名后，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过预设的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过预设的时间间隔阈值，则选取下一个待爬取的域名。采用本发明，可以提高爬取网络数据的效率。

主权项

1.一种爬取网络数据的方法，其特征在于，所述方法包括：按照预设的轮询顺序，在预先存储的域名队列中逐个选取待爬取的域名；在每次选取待爬取的域名后，获取预先存储的所述待爬取的域名对应的时间间隔阈值，如果选取的域名上一次被爬取的时间与当前时间的时间间隔超过获取到的时间间隔阈值，则在所述选取的域名对应的网址队列中抽取待爬取的网址，对所述待爬取的网址进行网络数据爬取，如果选取的域名上一次被爬取的时间与当前时间的时间间隔未超过获取到的时间间隔阈值，则选取下一个待爬取的域名；接收网址添加指令，所述网址添加指令中携带有待添加网址；获取所述待添加网址对应的域名，如果获取到的域名对应的网址队列中存在与所述待添加网址相同的网址，则丢弃所述待添加网址，如果获取到的域名对应的网址队列中不存在与所述待添加网址相同的网址，则将所述待添加网址添加到所述网址队列中。