[发明专利]网页爬取方法和装置

说明书

本申请公开了一种网页爬取方法和装置。其中，该方法包括：多台服务器分别从任务队列中获取关键词组，其中，任务队列中存储有多个待爬取的关键词组，每个待爬取的关键词组包含多个关键词；以及多台服务器分别通过各自的网络爬虫爬取获取的关键词组中每个关键词对应的搜索引擎结果页。本申请解决了相关技术中通过单台服务器的网络爬虫爬取关键词搜索引擎结果页时效率较低的技术问题。

技术领域

本申请涉及互联网领域，具体而言，涉及一种网页爬取方法和装置。

背景技术

传统的搜索引擎优化(Search Engine Optimization，简称为SEO)业务中，通常需要帮助用户分析关键词在搜索引擎中的排名。通常，用户会预设一组关键词，定期通过网络爬虫去爬取这些关键词在搜索引擎中的排名，即通过网络爬虫爬取关键词对应的搜索引擎结果页，其中，关键词对应的搜索引擎结果页是指在搜索引擎(例如，百度，搜狗等搜索引擎)中输入关键词后显示的搜索结果页面。

但是，搜索引擎为了防止机器人(例如，网络爬虫)访问，或者减少非正常访问流量，往往会对单个IP地址的搜索速度或者搜索次数进行限制(即反爬虫策略)，而通常用户指定的关键词累计起来会达到一个非常大的数量，因此，仅通过单台机器或者IP地址进行关键词搜索引擎结果页的爬取不仅爬取效率较低，而且容易因搜索引擎的反爬虫策略导致无法爬取所有关键词对应的搜索引擎结果页。

针对相关技术中通过单台服务器的网络爬虫爬取关键词对应的搜索引擎结果页时效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种网页爬取方法和装置，以解决相关技术中通过单台服务器的网络爬虫爬取关键词搜索引擎结果页时效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种网页爬取方法。该方法包括：多台服务器分别从任务队列中获取关键词组，其中，任务队列中存储有多个待爬取的关键词组，每个待爬取的关键词组包含多个关键词；以及多台服务器分别通过各自的网络爬虫爬取获取的关键词组中每个关键词对应的搜索引擎结果页。

进一步地，多台服务器包括第一服务器，多台服务器分别从任务队列中获取关键词组包括第一服务器从任务队列中获取关键词组，第一服务器从任务队列中获取关键词组包括：第一服务器检测任务队列中是否存在待爬取的关键词组；第一服务器在检测出任务队列中存在待爬取的关键词组时，锁定任务队列，其中，锁定的任务队列仅能够被第一服务器读取；以及第一服务器从锁定的任务队列中获取关键词组，并释放任务队列，其中，释放后的任务队列能够被多台服务器中任意一台服务器读取。

进一步地，多台服务器包括第一服务器，第一服务器获取的关键词组为第一关键词组，第一服务器的网络爬虫为第一网络爬虫，多台服务器分别通过各自的网络爬虫爬取获取的关键词组中每个关键词对应的搜索引擎结果页包括第一服务器通过第一网络爬虫爬取第一关键词组中每个关键词对应的搜索引擎结果页，第一服务器通过第一网络爬虫爬取第一关键词组中每个关键词对应的搜索引擎结果页包括：遍历第一关键词组，通过第一网络爬虫爬取第一关键词组中每个关键词对应的搜索引擎结果页；判断第一网络爬虫爬取第一关键词组中每个关键词对应的搜索引擎结果页是否成功；以及在判断出存在爬取第一关键词组中的关键词对应的搜索引擎结果页失败的情况时，将第一关键词组中爬取失败的关键词添加至失败列表。

进一步地，在将第一关键词组中爬取失败的关键词添加至失败列表之后，该方法还包括：将失败列表中的关键词打包为新的关键词组；以及将新的关键词组添加至任务队列中。

进一步地，将失败列表中的关键词打包为新的关键词组包括：获取失败列表中关键词的重试次数；判断失败列表中关键词的重试次数是否小于预设值；以及在判断出失败列表中关键词的重试次数小于预设值时，将失败列表中关键词打包为新的关键词组。