[发明专利]爬虫程序的调度方法、调度装置、服务器和存储介质

权利要求书

1.一种爬虫程序的调度方法，其特征在于，所述方法包括：

获取代理节点的性能指标数据；所述性能指标数据表征所述代理节点在当前运行状态下用于执行爬虫程序的性能裕度；

基于所述性能指标数据，预测所述代理节点用于执行各个待调度爬虫程序时的性能损耗数据；所述性能损耗数据表征所述代理节点在当前运行状态下用于执行各个待调度爬虫程序时关于所述性能裕度的损耗程度；

基于所述性能指标数据和所述性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，并将所述目标爬虫程序调度至所述代理节点。

2.根据权利要求1所述的方法，其特征在于，所述基于所述性能指标数据和所述性能损耗数据，在多个待调度爬虫程序中确定目标爬虫程序，包括：

基于所述性能指标数据与各所述待调度爬虫程序对应的性能损耗数据，确定所述代理节点在用于执行各所述待调度爬虫程序时的剩余性能裕度；所述剩余性能裕度表征所述性能裕度的剩余程度；

基于各所述待调度爬虫程序对应的剩余性能裕度与预设的参考性能裕度，在所述多个待调度爬虫程序中确定出目标爬虫程序。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述待调度爬虫程序对应的剩余性能裕度与预设的参考性能裕度，在所述多个待调度爬虫程序中确定出目标爬虫程序，包括：

在各所述待调度爬虫程序中，将对应所述剩余性能裕度大于所述参考性能裕度的待调度爬虫程序作为候选爬虫程序；

在所述候选爬虫程序中，确定预设数量个爬虫程序作为所述目标爬虫程序；

其中，所述预设数量个爬虫程序对应的约束条件包括：在所述代理节点同时执行所述预设数量个爬虫程序时所对应总剩余性能裕度大于所述参考性能裕度。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标爬虫程序调度至所述代理节点，包括：

确定所述目标爬虫程序的程序状态；

在所述程序状态表征所述目标爬虫程序未被所述代理节点执行的情况下，将所述目标爬虫程序调度至所述代理节点。

5.根据权利要求1所述的方法，其特征在于，所述获取代理节点的性能指标数据，包括：

根据预设的时间间隔向所述代理节点发送心跳包信息，通过所述心跳包信息指示所述代理节点返回当前运行状态下的性能指标数据；

其中，所述性能指标数据至少包括所述代理节点的处理器利用率、处理器进程数、内存利用率、网络带宽和磁盘使用率。

6.根据权利要求5所述的方法，其特征在于，所述基于所述性能指标数据，预测所述代理节点用于执行各个待调度爬虫程序时的性能损耗数据，包括：

基于所述代理节点的配置参数，确定所述代理节点用于执行各个待调度爬虫程序时的运行数据；所述运行数据至少包括所述代理节点在用于执行各个待调度爬虫程序时的运行时长、内存占用量、磁盘占用量和执行线程数；

基于所述性能指标数据，将所述代理节点用于执行各个待调度爬虫程序时的所述运行数据转换为对应的性能损耗数据；所述性能损耗数据至少包括所述代理节点的处理器损耗率、处理器进程数、内存损耗率、网络带宽和磁盘使用率。

7.根据权利要求1所述的方法，其特征在于，在所述将所述目标爬虫程序调度至所述代理节点之后，还包括：

获取所述代理节点在执行所述目标爬虫程序后的爬虫数据和所述目标爬虫程序的入参数据，并基于所述爬虫数据和入参数据生成对应爬虫统计图；

将所述爬虫统计图展现在爬虫监控界面中。