[发明专利]任务处理系统、方法、计算机设备和存储介质

说明书

本发明涉及大数据处理技术领域，提供一种任务处理系统、方法、计算机设备和存储介质。其中任务处理系统包括：任务提交模块，用于接收创建的任务，生成待处理任务并提交；应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；任务执行模块，包括多个执行队列，各个执行队列根据接收的待处理任务，并行执行各个待处理任务；以及监控模块，与应用发布模块和任务执行模块通信，监控模块采集并监控应用发布数据和任务执行数据，以响应任务提交模块。本发明能够实现任务的自动化发布、执行和实时监控，提高任务处理效率和运行稳定性。

技术领域

本发明涉及大数据处理技术领域，具体地说，涉及一种任务处理系统、方法、计算机设备和存储介质。

背景技术

近年来，随着大数据技术的兴起，越来越多的公司都成立了大数据部门，通过集群管理公司业务。随着公司业务的不断增长，各公司的集群普遍存在一些问题，如：非部门员工如何使用集群资源、集群中大量任务如何启停，如何避免任务被不相关用户误操作，应用资源的独占和共享问题、任务日志的排查问题等问题。为了避免上述问题的发生，业界普遍将任务的处理集成到全家桶式的大数据架构平台，通过云平台或者Docker化发布。但由于全家桶式的大数据架构平台大而全，导致易用性较差，且权限不便控制。

具体来说，通过全家桶式的大数据架构平台，用户能通过查询Hive、Impala、SparkSql等获取数据，但是对于复杂的任务，尤其是需要复杂的聚合等逻辑计算的任务无法处理。此时通常需要开发人员通过运维开通堡垒机权限，用户通过堡垒机登录到集群机器上直接通过命令行操作。这种处理方式要求用户对相关命令的掌握程度较高，导致应用不灵活、易用性较差。且由于集群权限管理等原因，出于安全性考虑，用户无法直接查看任务运行的详细日志，无法及时查看任务执行的阶段及结果，平台管理员也无法对任务造成集群资源占用过大等情况进行管控。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种任务处理系统、方法、计算机设备和存储介质，能够实现任务的自动化发布、执行和实时监控，提高任务处理效率和运行稳定性。

根据本发明的一个方面，提供一种任务处理系统，包括：任务提交模块，用于接收创建的任务，生成待处理任务并提交；应用发布模块，用于接收提交的各个待处理任务，通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列；任务执行模块，包括多个执行队列，各个所述执行队列根据接收的待处理任务，并行执行各个所述待处理任务；以及监控模块，与所述应用发布模块和所述任务执行模块通信，所述监控模块采集并监控应用发布数据和任务执行数据，以响应所述任务提交模块。

优选地，上述的任务处理系统中，所述应用发布模块通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源，将各个待处理任务发送至对应的执行队列，包括：解析并获得各个待处理任务的配置信息；通过YARN资源调度器获得各个DataNode节点的资源情况和各个执行队列的负载情况；所述YARN资源调度器根据每个待处理任务的配置信息，向资源情况满足该待处理任务的配置信息的DataNode节点申请执行资源，并将该待处理任务发送至负载情况满足其配置信息的执行队列。

优选地，上述的任务处理系统中，所述待处理任务的配置信息包括执行引擎，所述任务执行模块包括多个执行引擎模块，每个执行引擎模块包括多个执行队列，所述YARN资源调度器将各个待处理任务发送至对应的执行引擎模块的执行队列。

优选地，上述的任务处理系统中，所述执行引擎模块包括Spark Streaming模块、Flink Job模块和Flink Sql模块。