[发明专利]分布式的数据任务跨云调度系统及方法

权利要求书

1.一种分布式的数据任务跨云调度系统，其特征在于，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元；

其中，工作流解析单元用于获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；队列单元用于存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；第一作业解析单元用于解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；

第二RPC服务端用于接收作业并发送至第二作业解析单元；第二作业解析单元用于解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；执行器生成单元用于根据作业类型构建执行器；执行器用于根据调用密钥通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端；

其中，作业类型包括spark作业类型、Flink作业类型、Shell作业类型、SparkServerLess作业类型以及DLA作业类型。

2.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述主节点服务器内还设置执行结果解析单元和告警单元；

执行结果解析单元用于解析执行结果，得到执行成功或执行失败的执行状态信息，并标记在执行结果对应的工作流上后同步至数据库；

告警单元用于查询数据库内的所有工作流，当查询到存在工作流的执行状态信息为执行失败时，生成告警信息。

3.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述执行器生成单元还用于在构建的执行器内构建心跳监测单元，心跳监测单元用于按照预设的心跳监测周期监测云平台执行作业内容的执行情况，得到执行情况信息，并将执行情况信息同步至数据库。

4.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述云平台类别包括本地服务器、阿里云、亚马逊云和华为云。

5.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述队列单元还用于解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。

6.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述执行器生成单元还用于在获得执行结果后销毁执行器。

7.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，还包括工作流生成服务器，工作流生成服务器内设置Web组件，Web组件用于生成数据任务的工作流并发送至主节点服务器的工作流解析单元。

8.一种基于权利要求1所述分布式的数据任务跨云调度系统的分布式的数据任务跨云调度方法，其特征在于，包括以下步骤：

通过工作流解析单元获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；通过队列单元存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；通过第一作业解析单元解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；

通过第二RPC服务端接收作业并发送至第二作业解析单元；通过第二作业解析单元解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；根据作业类型，通过执行器生成单元构建执行器，根据调用密钥由执行器通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端；

其中，作业类型包括spark作业类型、Flink作业类型、Shell作业类型、SparkServerLess作业类型以及DLA作业类型。