[发明专利]一种分布式任务调度方法及系统

说明书

本发明公开了一种分布式任务调度方法及系统，基于Raft协议，将分布式任务调度组件设计为主从结构，依据节点状态的不同将任务节点分为主节点和从节点；其中，主节点负责将服务器监控任务分发到不同的从节点，并通过心跳信号监控从节点的状态；从节点负责执行主节点派发的监控任务，并将执行结果转存到ElasticSearch分布式搜索引擎中，为服务器历史数据分析提供数据支持。本发明弥补了现有LogStash组件的诸多不足，支持高可用的服务器监控数据的收集与处理功能。可保证分布式组件在节点出现故障的情况下正常运行。

技术领域

本发明涉及分布式集群场景下的任务调度技术领域，特别涉及一种分布式任务调度方法及系统。

背景技术

随着信息技术的广泛应用和业务需求的不断增长，越来越多的服务器被用于生产环境中。为保证业务系统的正常运转和服务器的正常运行，服务器监控成为日常运维工作中的主要内容。

分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统，具有内聚性、透明性、可扩展性、高可用性、高性能等特点，适用于大规模的计算机系统。因此，分布式技术越来越受到业界的青睐。

Raft算法是工程上使用较为广泛的强一致性、去中心化、高可用的分布式协议，用于保证分布式系统中各节点对某一事件的共识。Raft算法采用领导人选举、日志复制等手段保证分布式系统的数据一致性，支持少于半数节点宕机的故障容错。

ELK组件(Elasticsearch，Logstash and Kibana)是业界常用的一种服务器监控分析平台。ELK组件是Elastic公司开源的一套以ElasticSearch分布式搜索分析引擎为核心的服务器监控组件，广泛应用于服务器实时监控分析领域，支持服务器日志文件、CPU使用率、内存使用率、网络情况等指标的监控与报警。支持实时数据存储、检索和分析。

ELK组件由轻量级数据采集代理组件Beats、数据处理管道组件LogStash、分布式搜索分析引擎ElasticSearch和可视化平台Kibana组成。其中，如图1所示，Beats组件负责从服务器中收集审计数据、指标数据、日志文件、网络数据、可用性监测、事件日志等数据，并将数据转发到ElasticSearch组件或者LogStash组件；LogStash组件负责数据的解析、过滤与转换，将Beats组件收集的数据转换为用户规定的数据格式，并将处理后的数据转存到ElasticSearch组件中；ElasticSearch组件是一个开源检索分析引擎，负责数据的存储、索引与搜索；Kibana组件是一个开源的可视化分析平台，负责将ElasticSearch组件中的数据以图表的形式进行可视化。

在实践的过程中，发现数据处理管道Logstash组件存在以下不足：

1、Logstash通过解释配置文件的方式实现对监控数据的处理，虽然实现了业务逻辑的解耦，但是资源消耗较大，占用大量内存和CPU资源；

2、Logstash的配置文件采用自创的语法格式，需要配合相关资料进行开发，学习成本较高，影响开发效率；

3、Logstash采用Beats配置多个LogStash，并负载均衡到不同LogStash的集群运行方式，不易横向扩展。

发明内容

本发明提供了一种分布式任务调度方法及系统，以解决现有LogStash组件所存在的如上所述的诸多不足的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种分布式任务调度方法，包括：

依据节点状态的不同，将任务节点分为主节点和从节点；