[发明专利]任务分发方法及扫描器

说明书

技术领域

本发明涉及负载均衡技术领域，尤其涉及一种任务分发方法及扫描器。

背景技术

在扫描器组成的分布式网络架构中，为了使各扫描器能够均衡的分担各任务带来的负载，可以采用负载均衡技术来进行任务分发。其中，由节点类型为管理节点的扫描器根据负载均衡算法，将待分发任务分发给所管理的各扫描器。当前主流的负载均衡算法主要包含轮询算法、比率算法、优先权算法等。

在现有技术中，不管采用上述哪种算法进行任务分发，都只考虑了各扫描器的负载情况，也就是说，只考虑了扫描器的硬件环境因素。但是，不同扫描器执行同一任务时的执行情况也可能不同。例如，一台高带宽的扫描器1位于地点A，另一台低带宽的扫描器2位于地点B，扫描器1的硬件环境明显要优于扫描器2的硬件环境，节点类型为管理节点的扫描器如果需要分发一个爬取某网站的任务，则按照现有的负载均衡算法，会将该任务分发给硬件环境较好的扫描器1，但是，如果该网站的网站服务器设置在地点B，则扫描器1执行该任务时消耗的资源就比较多，执行效率较低，而扫描器2执行该任务时消耗的资源就比较少，执行效率较高。

由上可见，如果节点类型为管理节点的扫描器在分发任务时，只考虑所管理的各扫描器的硬件环境因素，则难以保证负载均衡的效果。

发明内容

本发明实施例提供一种任务分发方法及扫描器，用以解决现有技术难以保证负载均衡的效果的问题。

本发明实施例提供如下技术方案：

本发明实施例提供一种任务分发方法，该方法包括步骤：

节点类型为管理节点的扫描器需要分发任务时，针对所管理的各扫描器，分别执行下述操作：确定该扫描器执行待分发任务时的资源消耗指标以及该扫描器的当前剩余负载，所述资源消耗指标表征了扫描器执行任务时的资源消耗情况；根据所述资源消耗指标和当前剩余负载，确定该扫描器执行所述待分发任务时的负载均衡因子；

根据确定出的负载均衡因子，在所管理的各扫描器中选择出满足预设的分发条件的扫描器，并将所述待分发任务分发给选择出的扫描器。

优选的，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

获得预先存储的、待分发任务所属的站点对应的预估资源消耗值以及该扫描器执行待分发任务所属的站点下的各任务时的当前实际资源消耗值；

根据获得的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：

其中，CPI_i为扫描器i执行所述待分发任务时的资源消耗指标；t_j为待分发任务所属的站点j对应的预估资源消耗值；t′_ij为扫描器i执行待分发任务所属的站点j下的各任务时的当前实际资源消耗值。

优选的，还包括：

接收选择出的扫描器在执行完所述待分发任务后上报的、执行所述待分发任务时的实际资源消耗值；

根据接收到的实际资源消耗值，对存储的、选择出的扫描器执行所述待分发任务所属的站点下的各任务时的当前实际资源消耗值进行更新。

优选的，还包括：

每次更新完当前实际资源消耗值后，将更新前的当前实际资源消耗值作为更新前实际资源消耗值进行存储；

确定该扫描器执行待分发任务时的资源消耗指标，还包括：

获得预先存储的、该扫描器执行待分发任务所属的站点下的各任务时的更新前实际资源消耗值；

根据获得的预估资源消耗值以及更新前实际资源消耗值，确定该扫描器执行所述待分发任务时的更新前资源消耗指标；

将根据当前实际资源消耗值确定出的资源消耗指标以及所述更新前资源消耗指标的平均值，确认为该扫描器执行所述待分发任务时的资源消耗指标。

优选的，确定该扫描器执行待分发任务时的资源消耗指标，具体包括：

确定该扫描器执行每个原子任务时的预估资源消耗值以及该扫描器执行每个原子任务时的当前实际资源消耗值；

根据确定的预估资源消耗值以及当前实际资源消耗值，确定该扫描器执行所述待分发任务时的资源消耗指标。

优选的，通过下述方式确定扫描器执行所述待分发任务时的资源消耗指标：