[发明专利]分布式的数据任务跨云调度系统及方法

说明书

本发明属于电子信息技术领域，公开了一种分布式的数据任务跨云调度系统及方法，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元。本发明分布式的数据任务跨云调度系统及方法，实现数据任务的依赖管理，实现不同工作节点服务器的分布式的调度管理，并且极大提升工作节点服务器的扩展性，可以最大限度的支持不同数据任务运行在一套跨云调度系统中，同一数据任务实现多个云平台的协同调用，实现数据任务的跨云处理，解决现有调度系统无法跨多个公有云服务的功能，确保云平台的可扩展性。

技术领域

本发明属于电子信息技术领域，涉及一种分布式的数据任务跨云调度系统及方法。

背景技术

大数据处理目前已经是各行各业很常用的技术手段，不过在目前各行业技术公司随着数据量和业务量的增加，大数据任务表现出了以下特点：数据量越来越大，处理数据的作业任务变得多并且关系复杂，随着公有云的普及，数据存储位置呈现多样化，有本地存储，有公有云存储，有私有云存储等；以及数据作业依赖不同的本地环境，调度任务执行的机器变得多样化。

面对上面的特点，目前对数据作业任务的调度变得异常复杂，目前开源的调度系统要不通过自己写脚本代码来实现任务管理，要不任务执行节点固定不可随意扩展，最主要的是没有能同时将任务提交给不同的公有云的方案。对于使用混合云的大型企业，一般企业使用多个调度系统，或者各家云上自带的可以调用自己任务的调度，或者用代码配置的方式去完成跨云的分布式任务调度，缺少一款真正的跨公有云的分布式数据任务调度系统方案，来简化大数据处理中作业调度和依赖管理等工作的并提高效率。

发明内容

本发明的目的在于克服上述现有技术中，大数据处理中作业调度和依赖管理等工作实现复杂且效率低的缺点，提供一种分布式的数据任务跨云调度系统及方法。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明一方面，一种分布式的数据任务跨云调度系统，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元；其中，工作流解析单元用于获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；队列单元用于存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；第一作业解析单元用于解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；第二RPC服务端用于接收作业并发送至第二作业解析单元；第二作业解析单元用于解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；执行器生成单元用于根据作业类型构建执行器；执行器用于根据调用密钥通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。

本发明分布式的数据任务跨云调度系统进一步的改进在于：

所述主节点服务器内还设置执行结果解析单元和告警单元；执行结果解析单元用于解析执行结果，得到执行成功或执行失败的执行状态信息，并标记在执行结果对应的工作流上后同步至数据库；告警单元用于查询数据库内的所有工作流，当查询到存在工作流的执行状态信息为执行失败时，生成告警信息。

所述执行器生成单元还用于在构建的执行器内构建心跳监测单元，心跳监测单元用于按照预设的心跳监测周期监测云平台执行作业内容的执行情况，得到执行情况信息，并将执行情况信息同步至数据库。

所述云平台类别包括本地服务器、阿里云、亚马逊云和华为云。

所述队列单元还用于解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。