[发明专利]任务处理系统、方法、计算机设备和存储介质

权利要求书

1.一种任务处理系统，其特征在于，包括：

任务提交模块，用于接收创建的任务，生成待处理任务并提交；

应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；

任务执行模块，包括多个执行队列，各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及

监控模块，与所述应用发布模块和所述任务执行模块通信，所述监控模块采集并监控应用发布数据和任务执行数据，响应所述任务提交模块。

2.如权利要求1所述的任务处理系统，其特征在于，所述应用发布模块通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列，包括：

解析并获得各个待处理任务的配置信息；

通过YARN资源调度器获得各个DataNode节点的资源情况和各个执行队列的负载情况；

所述YARN资源调度器根据每个待处理任务的配置信息，向资源情况满足该待处理任务的配置信息的DataNode节点申请执行资源，并将该待处理任务发送至负载情况满足其配置信息的执行队列。

3.如权利要求2所述的任务处理系统，其特征在于，所述待处理任务的配置信息包括执行引擎，所述任务执行模块包括多个执行引擎模块，每个执行引擎模块包括多个执行队列，所述YARN资源调度器将各个待处理任务发送至对应的执行引擎模块的执行队列。

4.如权利要求3所述的任务处理系统，其特征在于，所述执行引擎模块包括SparkStreaming模块、Flink Job模块和Flink Sql模块。

5.如权利要求1所述的任务处理系统，其特征在于，所述任务提交模块包括对外服务接口，所述监控模块通过所述对外服务接口与所述任务提交模块通信，以采集并监控任务提交数据，响应所述任务提交模块；

所述监控模块还根据所述任务提交数据启动对所述应用发布模块和所述任务执行模块的监控。

6.如权利要求5所述的任务处理系统，其特征在于，还包括：

预警模块，与所述监控模块通信，所述预警模块用于分析所述任务提交数据、所述应用发布数据和所述任务执行数据的异常，生成告警信息。

7.如权利要求5所述的任务处理系统，其特征在于，还包括：

数据接入模块，供所述任务提交数据、所述应用发布数据和所述任务执行数据读取和写入。

8.如权利要求1所述的任务处理系统，其特征在于，还包括：

配置管理模块，包括项目管理模块和模板管理模块，所述项目管理模块用于提供任务逻辑管理的配置入口，所述模板管理模块用于提供任务通用参数的配置入口。

9.如权利要求8所述的任务处理系统，其特征在于，还包括：

权限管理模块，用于在接收创建的任务前识别任务创建者的身份，若识别为管理员身份则向其开放所述配置管理模块和所述任务提交模块的使用权限，若识别为用户身份则向其开放所述任务提交模块的使用权限。

10.一种任务处理方法，其特征在于，包括：

接收创建的任务，生成待处理任务并提交；

根据提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；

各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及

采集并监控各个待处理任务的发布数据和执行数据，返回监控信息。

11.一种计算机设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求10所述的任务处理方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求10所述的任务处理方法的步骤。