[发明专利]一种复杂运维作业编排与调度系统及其方法

说明书

本发明涉及一种复杂运维作业编排与调度系统，包括任务编排模块、任务调度模块和任务执行模块；其中，任务编排模块，用于将作业划分为整体复杂任务Task、运行步骤step及执行任务job三类对象，并根据三类对象的数据和关联关系编排；任务调度模块，用于将任务调度划分为server、scheduler和worker三个层面的调度，并根据任务编排模块的编排执行任务调度；任务执行模块，用于根据任务调度的worker调度执行任务。本方法可以将多机器的复杂运维过程作业模板化，通过三层调度实现任务快速高效的执行。减少运维人员的人工干预过程。提高运维效率。

技术领域

本发明属于数字化业务技术领域，具体涉及一种复杂运维作业编排与调度系统及其方法。

背景技术

Ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。

随着互联网+和去IOE浪潮的推进，传统行业X86服务器的数量逐渐增多。服务器数量剧增带来的直接后果就是运维复杂度的增加。而且随着应用数量的增多，需要同时对多个应用进行快速高效的备份或者持续部署等非常复杂的操作。传统的运维思路已经很难满足现实的需求。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种复杂运维作业编排与调度系统及其方法，将复杂运维操作基于特定场景通过编排的方式进行运维作业固化，从而减少运维操作的复杂度，提高运维操作的执行效率。

为了解决以上技术问题，本发明提供一种复杂运维作业编排与调度系统，包括任务编排模块、任务调度模块和任务执行模块；其中，

任务编排模块，用于将作业划分为整体复杂任务Task、运行步骤step及执行任务job三类对象，并根据三类对象的数据和关联关系编排；

任务调度模块，用于将任务调度划分为server、scheduler和worker三个层面的调度，并根据任务编排模块的编排执行任务调度；

任务执行模块，用于根据任务调度的worker调度执行任务。

本发明进一步限定的技术方案是：系统基于Zookeeper作为服务的注册和管理中心；通过RabbitMQ进行服务模块之间消息的传递；并采用MySQL作为基础数据的数据库。

作为本发明的进一步改进，进一步，任务编排模块中整体复杂任务Task接收业务数据，进行数据校验，当数据格式正确情况下执行各个运行步骤step，在单个运行步骤step中获取具体执行任务job列表，并对每个执行任务job列表的任务参数封装成一个任务线程。

作为本发明的进一步改进，更进一步，运行步骤step之间存在依赖关系则采用串行执行，运行步骤step之间不存在依赖关系则可放入同一个运行步骤step中执行，运行step内部的执行任务job采用并行执行。

作为本发明的进一步改进，进一步，整体复杂任务Task、运行步骤step和执行任务job的数据和关联关系数据存放在MySQL数据库中。

作为本发明的进一步改进，进一步，任务调度模块中server向scheduler发送执行任务job的信息，scheduler接收后根据worker的数量以及单个worker的处理能力经验值计算该次执行任务job需要调用worker的最优次数，并下发到具体worker中执行，worker根据自身处理能力的大小，将多个目标机器进行再次分割，然后并发执行任务，执行结束后将结果回传到server的任务线程中。