[发明专利]一种任务调控方法、装置及相关设备

说明书

本申请公开了一种任务调控方法，包括对集群节点进行实时监控，获得各节点的监控信息；根据所述监控信息判断所述节点是否为新增节点；若是，则获取所述新增节点对应的标准阈值信息；根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控；该任务调控方法可以有效实现集群系统中的任务调控，保证负载均衡，进一步提高集群运行效率以及集群性能。本申请还公开了一种任务调控装置、系统以及计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及互联网技术领域，特别涉及一种任务调控方法，还涉及一种任务调控装置、系统以及计算机可读存储介质。

背景技术

ES(Elasticsearch)是一种分布式全文数据库系统服务，对于其数据平衡和索引读写机制，当有新的ES服务节点加入集群时，由于该节点的服务和数据存储均为空闲状态，会导致触发ES的Rebalance分片再平衡机制，以将集群中已经存在的索引数据根据节点负载情况均衡转移至新增的节点服务。然而，如果此时集群同样存在大量的索引创建写入任务，由于新加入节点的空闲状态会导致新的索引创建和写入任务也会大量出现在该节点，不仅会导致新加入节点短时间内负载过大，也可能会因为吸引了过多的全新索引创建写入任务，导致其它正常节点的任务空闲，从而引起整个集群性能出现短时降低的情况，严重影响集群运行效率以及集群自身性能。

因此，如何有效实现集群中的任务调控，提高集群运行效率，保证集群性能是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种任务调控方法，该任务调控方法可以有效实现集群系统中的任务调控，保证负载均衡，进一步提高集群运行效率以及集群性能；本申请的另一目的是提供一种任务调控装置、系统以及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种任务调控方法，包括：

对集群节点进行实时监控，获得各节点的监控信息；

根据所述监控信息判断所述节点是否为新增节点；

若是，则获取所述新增节点对应的标准阈值信息；

根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。

优选的，所述对集群节点进行监控，获得各节点的监控信息，包括：

对所述节点对应的机器运行过程进行监控，获得外部资源数据；

对所述节点中的任务执行过程进行监控，获得内部运行数据；

对所述外部资源数据和所述内部运行数据进行封装，获得所述监控信息。

优选的，所述根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控，包括：

关闭主分片写入操作；

根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制。

优选的，所述根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制，包括：

当所述监控信息未超出所述标准阈值信息时，开启所述副分片写入操作；

当所述监控信息超出所述标准阈值信息时，关闭所述副分片写入操作。

优选的，所述任务调控方法还包括：

将所述监控信息实时存储至预设存储空间。

优选的，所述任务调控方法还包括：

根据所述预设存储空间的历史监控信息统计监控信息变化趋势；

判断所述监控信息变化趋势是否趋于稳定，若是，则开启所述主分片写入操作。