[发明专利]一种采集任务管理方法及系统

说明书

技术领域

本发明涉及通信技术领域，特别涉及一种采集任务管理方法及系统。

背景技术

服务器集群是指将很多子服务器集中起来一起进行同一服务的一种大规模服务器。在客户端看来一个服务器集群就等同于一个单一的服务器。显而易见，这种集成了多个子服务器的服务器集群拥有比单一服务器更高的运算速度。

服务器集群可以用来作为大规模的数据采集系统，服务器集群中的子服务器协同运行，每个子服务器作为一个采集节点，执行相应的采集任务，即可实现多采集任务的并行处理，可以显著的提高数据采集的效率。在此前提之下，对于每个采集节点进行合理的任务管理和部署，便成为使母系统均衡运行的关键。

现有的负载均衡器BIG-IP就是一种对集群数据采集系统中任务流量进行管理和分配的设备。BIG-IP能够提供灵活的算法，可以将数据流有效地转发到它所连接的集群数据采集系统。而面对前台的操作者，BIG-IP及其所管理的数据采集系统可以相当于一个虚拟服务器，使操作者无需针对每个采集节点进行操作。

BIG-IP中存在两种对采集节点进行管理和查验工具，分别是ECV（Extended Content Verification，扩展内容查证）和EAV（Extended Application Verification，扩展应用查证）。二者均可以根据请求对采集节点进行查验并反馈信息，通过反馈信息判断采集节点以及数据采集系统整体的运行状态，进而对采集任务进行管理和分配。不同在于，ECV响应于客户的查验请求，而EAV响应于具体应用的查验请求。

但是，BIG-IP中两个查验工具存在的缺陷在于，虽然二者在一定程度上体现了采集任务进行管理和分配的基本思想；但是实际上，采集节点的拓扑结构纷繁复杂，而且是实时动态变化的；现有技术还不能够随着采集的进行实现数据采集系统整体达到任务流量和负载的均衡，也不能有效的进行数据采集系统的任务管理和采集节点的维护。

发明内容

有鉴于此，本发明的目的在于提供一种采集任务管理方法及系统，所述方法在数据采集系统执行采集任务的过程中，实现对于采集任务和采集节点的管理和资源分配。

为实现上述目的，本发明有如下技术方案：

一种采集任务管理方法，所述方法包括以下步骤：

调度模块加载采集方案，从采集方案中读取目标节点列表；

调度模块根据目标节点列表生成管理任务清单；

调度模块根据预设的均衡机制，将管理任务清单中的采集任务分配向采集节点。

所述调度模块还从采集方案中读取采集节点列表；则所述根据目标节点列表生成管理任务清单具体为：

利用采集节点列表提取进行任务单；

将目标节点列表与进行任务单进行对比，并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单。

所述利用采集节点列表提取进行任务单具体为：

调度模块监听采集节点列表中采集节点的通信，获取各个采集节点正在执行的采集任务，将正在执行的采集任务集合成进行任务单。

所述将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单具体为：

当采集任务存在于目标节点列表中，且不存在于进行任务单中时，将该采集任务作为管理任务清单中的增加项；

当采集任务不存在于目标节点列表中，且存在于进行任务单中时，将该采集任务作为管理任务清单中的删除项；

当采集任务同时存在于目标节点列表和进行任务单中，但任意参数发生了变化时，将该采集任务作为管理任务清单中的修改项，且发生变化的参数以目标节点列表中参数为准。

所述预设的均衡机制具体为：

根据目标节点列表中采集任务的数量和采集节点的数量，计算出每个采集节点的负载任务数值区间；

则所述根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点具体为：

将管理任务清单中的采集任务分配到采集节点，使每个采集节点被分配的采集任务数量在负载任务数值区间内。

所述方法还包括：

为管理任务清单设置一个标志位，如果管理任务清单中记录了变化的采集任务时，将管理任务清单的标志位定义为true；

当根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点后，将管理任务清单的标志位修改为false。

所述方法还包括：