[发明专利]一种用于数据集成的轻量级分布式调度方法及系统

说明书

本发明涉及计算机信息技术领域和互联网领域，具体涉及一种用于数据集成的轻量级分布式调度方法包括调度系统，调度系统包括Manager端和Worker端，所述的Manager端任务的管理、调度、协调、补救和任务数据持久化，所述的Worker端负责任务的具体处理执行；基于注册发现机制，Manager和Worker均自主组成服务集群，Manager根据worker节点资源和调度策略将任务下发到Worker节点执行；Manager端引入预调度设计，将任务提前一定时间调度下发到Worker进行自调度，将部分调度压力转移到Worker端；Manager端设计分布式锁来协调调度；基于DAG理论还设计了流程任务调度处理引擎。

技术领域

本发明涉及计算机信息技术领域和互联网领域，具体涉及一种用于数据集成的轻量级分布式调度方法。

背景技术

目前业界常用任务调度系统因为历史局限性，或多或少存在一些问题或功能缺失，主要有以下几个方面：

1.存在单点故障，且无法通过自由扩展节点提升任务调度和处理能力。

2.调度或处理能力性能不佳，调度高峰期调度压力过大，且会因网络和服务器间时间不一致导致的调度精确度降低。

3.没有解决任务调度的一致性，可能会出现在同一时间窗任务被重复调度执行的问题。

4.不支持复杂流程调度，无法实现依赖性任务的调度。

发明内容

为克服上述现有技术中存在的问题，本发明的目的是提供，解决了现有技术中存在的问题。

本发明所采用的技术方案是：

一种用于数据集成的轻量级分布式调度方法，包括调度系统，调度系统包括Manager端和Worker端，所述的Manager端任务的管理、调度、协调、补救和任务数据持久化，所述的Worker端负责任务的具体处理执行。

进一步基于注册发现机制，Manager和Worker均自主组成服务集群，Manager根据worker节点资源和调度策略将任务下发到Worker节点执行。

进一步Manager端引入预调度设计，将任务提前一定时间调度下发到Worker进行自调度，将部分调度压力转移到Worker端。

进一步在Manager和Worker均引入时间轮算法处理任务调度和任务逻辑处理。

进一步Worker任务处理的反馈信息进行批量合并上报，Manager接收反馈信息时转入EventBus，由Event Bus进行异步处理。

进一步Manager端设计分布式锁来协调调度。

进一步基于DAG理论还设计了流程任务调度处理引擎。

一种用于数据集成的轻量级分布式调度方法，还包括如下步骤：

S1.Manager监听任务信息触发属性数据中下一次触发时间，如果在预调度的缓冲时间区间内，生成任务实例信息推入Manager的时间轮异步队列调度线程池，同时更新任务信息触发属性数据中的下一次触发时间；

S2.Manager时间轮异步队列调度线程池中时间轮会在自转时检查超时项任务，有超时项任务时，将任务推入Manager时间轮异步队列调度线程池的执行线程池中，线程池进行异步处理，选择执行任务的WorkGroup和具体的任务执行Worker，通过RPC将任务下发到任务执行的Worker；