[发明专利]对分布式网络爬虫进行更新的方法及装置

权利要求书

1.一种对分布式网络爬虫进行更新的方法，其特征在于，该方法包括：

从服务器获取最新版本的爬虫代码包及相应的版本号；

查找到抓取节点本地的爬虫代码包，用获取的爬虫代码包更新抓取节点本地的爬虫代码包；

将抓取节点本地的爬虫代码包的版本号更新为最新版本的版本号；

重新启动爬虫代码程序。

2.如权利要求1所述的方法，其特征在于，所述从服务器获取最新版本的爬虫代码包和版本号包括：

从服务器请求最新版本的爬虫代码包的版本号；

将获取的版本号与抓取节点本地的版本号进行比较，判断是否一致，如果不是，则从服务器请求最新版本的爬虫代码包，否则，返回执行所述从服务器获取最新版本的爬虫代码包的版本号的步骤。

3.如权利要求1所述的方法，其特征在于，该方法还包括：

服务器接收配置的最新版本的爬虫代码包和对应的版本号；

服务器保存爬虫代码包，将保存路径和版本号记录到配置数据库中。

4.如权利要求1所述的方法，其特征在于，所述用获取的爬虫代码包更新抓取节点本地的爬虫代码包包括：

将获取的爬虫代码包中的文件表示为下载文件，将抓取节点本地的爬虫代码包中的文件表示为本地文件；遍历获取的爬虫代码包中的所有下载文件，判断与本地爬虫代码包中的本地文件是否存在相同的文件名：

如果是，则用相应下载文件的文件内容覆盖相同文件名的本地文件的文件内容；

否则，在抓取节点本地部署新文件路径，创建新文件，所创建的新文件的文件名与下载文件的文件名一致，新文件的文件内容与下载文件的文件内容一致。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述重新启动爬虫代码程序包括：

判断抓取节点本地当前是否有正在运行的爬虫进程：如果是，则强制关闭，重新启动爬虫代码程序；否则，重新启动爬虫代码程序。

6.一种对分布式网络爬虫进行更新的装置，其特征在于，该装置包括检测模块、自动下载模块、自动更新模块和自启动模块；

所述检测模块，从服务器获取最新版本的爬虫代码包的版本号，发送给所述自动下载模块和自动更新模块；

所述自动下载模块，根据版本号从服务器获取最新版本的爬虫代码包，发送给所述自动更新模块；

所述自动更新模块，查找到抓取节点本地的爬虫代码包，用获取的爬虫代码包更新抓取节点本地的爬虫代码包，将抓取节点本地的爬虫代码包的版本号更新为最新版本的版本号；向所述自启动模块发送重启指令；

所述自启动模块，接收重启执行，重新启动爬虫代码程序。

7.如权利要求6所述的装置，其特征在于，所述检测模块，还将获取的爬虫代码包的版本号与抓取节点本地的版本号进行比较，判断是否一致，如果不是，则向所述自动下载模块发送包含版本号的下载指令，否则，返回执行所述从服务器获取最新版本的爬虫代码包的版本号；

所述自动下载模块，接收所述下载指令后，才从服务器获取最新版本的爬虫代码包。

8.如权利要求6所述的装置，其特征在于，该装置还包括上传配置模块，接收配置的最新版本的爬虫代码包和对应的版本号；保存爬虫代码包，将保存路径和版本号记录到配置数据库中。

9.如权利要求6所述的装置，其特征在于，所述自动更新模块包括代码包更新子模块，将获取的爬虫代码包中的文件表示为下载文件，将抓取节点本地的爬虫代码包中的文件表示为本地文件；遍历获取的爬虫代码包中的所有下载文件，判断与本地爬虫代码包中的本地文件是否存在相同的文件名：如果是，则用相应下载文件的文件内容覆盖相同文件名的本地文件的文件内容；否则，在抓取节点本地部署新文件路径，创建新文件，所创建的新文件的文件名与下载文件的文件名一致，新文件的文件内容与下载文件的文件内容一致。

10.如权利要求6至9中任一项所述的装置，其特征在于，所述自启动模块，判断抓取节点本地当前是否有正在运行的爬虫进程：如果是，则强制关闭，重新启动爬虫代码程序；否则，重新启动爬虫代码程序。