[发明专利]网页爬虫抓取规则替换方法、调度端和抓取端

权利要求书

1.一种网页爬虫抓取规则替换方法，其特征在于，包括：

向抓取网络信息的抓取端发送抓取任务，所述抓取任务包括待抓取网站，以及与所述待抓取网站对应的调度端抓取规则文件的调度端版本号；

接收到所述抓取端发送的包括待切换规则网站以及待切换规则版本号的获取新规则文件请求，则向所述抓取端发送待切换规则文件和所述待切换规则网站，所述待切换规则文件为保存在规则文件库中且由所述待切换规则网站以及所述待切换规则版本号共同标识的调度端抓取规则文件；

所述抓取任务用于所述抓取端获取保存在所述抓取端与所述待抓取网站对应的抓取端抓取规则文件的抓取端版本号，比较所述抓取端版本号与所述调度端版本号，如果所述抓取端版本号与所述调度端版本号不一致，则将所述待抓取网站作为待切换规则网站，将所述调度端版本号作为待切换规则版本号，并返回所述获取新规则文件请求，否则不返回所述获取新规则文件请求，对所述待抓取网站采用所述抓取端抓取规则文件抓取网络信息；

所述待切换规则文件用于所述抓取端将保存在所述抓取端与所述待切换规则网站对应的抓取端抓取规则文件，替换为所述待切换规则文件。

2.根据权利要求1所述的网页爬虫抓取规则替换方法，其特征在于，还包括：

接收到所述抓取端发送的包括待切换规则网站以及待切换规则版本号的规则热替换失败请求，则向所述抓取端发送所述待切换规则版本号对应的所述待切换规则文件和所述待切换规则网站，所述待切换规则文件用于所述抓取端将保存在所述抓取端与所述待切换规则网站对应的抓取端抓取规则文件，替换为所述待切换规则文件；

所述规则热替换失败请求为所述抓取端在发送所述获取新规则文件请求后预设时间内未收到所述待切换规则文件所发送的请求；

接收到所述抓取端发送的包括待切换规则网站以及待切换规则版本号的规则热替换成功请求，则将所述待切换规则网站以及待切换规则版本号共同标识的调度端抓取规则文件从所述规则文件库移至历史规则库；

所述规则热替换成功请求为所述抓取端在接收到所述待切换规则文件，并成功将保存在所述抓取端与所述待切换规则网站对应的抓取端抓取规则文件，替换为所述待切换规则文件，则发送所述规则热替换成功请求。

3.根据权利要求2所述的网页爬虫抓取规则替换方法，其特征在于，还包括：

接收到所述抓取端发送的包括历史规则网站以及历史规则版本号的历史规则切换请求，从所述历史规则库中获取由所述历史规则网站以及所述历史规则版本号共同标识的调度端抓取规则文件作为调度端历史规则文件，将调度端历史规则文件从所述历史规则库中移至所述规则文件库，向所述抓取端发送调度端历史规则文件和所述历史规则网站；

所述历史规则切换请求为所述抓取端在接收到所述待切换规则文件，将与所述待切换规则网站对应的抓取端抓取规则文件的抓取端版本号作为历史规则版本号，将所述待切换规则网站作为历史规则网站，在将所述待切换规则网站对应的抓取端抓取规则文件替换为所述待切换规则文件后，如果抓取网络信息的准确率降低，则发送所述历史规则切换请求；

所述调度端历史规则文件用于所述抓取端将保存在所述抓取端与所述历史规则网站对应的抓取端抓取规则文件，替换为所述历史规则文件。

4.根据权利要求1所述的网页爬虫抓取规则替换方法，其特征在于，还包括：

接收到包括待更新网站以及对应的待更新规则文件的上传规则请求，则将所述待更新规则文件与所述待更新网站关联后作为调度端抓取规则文件保存在规则文件库，并为所述调度端抓取规则文件分配对应的调度端版本号。