[发明专利]一种分布式任务调度系统和方法

说明书

本申请实施例提供了一种分布式任务调度系统及方法。方案包括：资源管理模块获取多源大数据计算环境的集群信息，创建大数据计算环境的资源管理器队列对应的资源池；模型管理模块获取待执行任务的代码包；任务管理模块基于代码包生成预设任务类型的待执行任务，向资源管理模块申请目标资源池中的目标资源，在资源申请成功后，将待执行任务调度到任务执行引擎；任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案，实现了多源大数据计算环境的资源统一管理，以及实现了多种类型任务的管理和调度，降低了大数据计算环境中业务运维成本，降低了业务代码包管理和上线的复杂度。

技术领域

本申请涉及任务调度技术领域，特别是涉及一种分布式任务调度系统和方法。

背景技术

随着大数据技术的飞速发展，基于大数据进行机器学习、深度学习和推理的应用场景层出不穷。在大数据计算环境中，首先，需要对数据进行预处理；然后，将预处理后的数据输入算法模型进行训练，从而生成算法预测模型；之后，利用算法预测模型进行实时数据预测。在大数据计算环境中，对不同的数据可以采用相同的预处理方式，这就导致重复开发相同处理或计算过程的问题。为了解决这个问题，相关技术中，通过抽离出预处理的操作或算子，形成公用组件，也就是说，将重复的处理或计算过程通用化。

然而，将重复的处理或计算过程通用化的方案并不能够满足智能交通及安防行业等特殊应用场景。在智能交通及安全防范行业中，由于数据的安全性和隐私性较高，一个局点部署一套大数据计算环境，多个局点则部署多套大数据计算环境。其中，各个局点的数据类型和业务大部分是相同的。在实现某一种业务时，开发人员可以开发一个独立的用于实现该业务的可执行代码包，将该可执行代码包发送给各个局点的运维人员。由各个局点的运维人员，按照配置规范，调度该可执行代码包，生成并执行相应的任务，实现相应的业务。

随着业务的增长，需求的变更，版本的更新迭代等推动因素，对各个局点的运维人员的技术能力要求也越来越高，这使得大数据计算环境中运维成本较高，业务管理的复杂度高，且业务算法包管理和上线的复杂度较高。

发明内容

本申请实施例的目的在于提供一种分布式任务调度系统和方法，以降低大数据计算环境中业务运维成本和业务管理的复杂度，降低业务代码包管理和上线的复杂度。具体技术方案如下：

第一方面，本申请实施例提供了一种分布式任务调度系统，包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；

所述资源管理模块，用于获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块，用于获取并存储待执行任务的代码包；

所述任务管理模块，用于基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎，用于将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

可选的，所述资源管理模块，具体用于：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，