[发明专利]一种基于分布式部署的任务调度方法

说明书

本发明涉及一种基于分布式部署的任务调度方法，用于对大数据平台中的数据处理任务进行分布式调度和执行，实现步骤为：定义数据处理作业的执行优先级、开始时间及执行周期；根据作业的调度配置信息和历史调度信息，将作业按执行顺序依次输送至优先级作业队列；根据作业处理的数据时间范围，将作业平均分解成若干同等时间范围的子任务，分解的子任务进入任务队列；将任务队列中的子任务派发给处于空闲且健康状态良好的执行节点执行；定期询问检查任务的执行结果，并以作业为单位汇总各项子任务的执行结果形成作业执行结果。本发明通过提供一种基于分布式部署的任务调度方法，能够以一种高效、可伸缩、可监控的方式处理分布式环境下的大数据任务。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于分布式部署的任务调度方法。

背景技术

在大数据的管理和应用过程中，涉及对大数据的加工处理，需要对大数据的处理任务进行相应的调度。

基于大数据具有海量数据规模及其业务指标的日趋复杂化特点，如何保障大数据处理任务的效率和稳定性成为任务调度面临的重大挑战。

目前的任务调度技术主要有单机类定时调度程序和分布式任务调度系统两种。

由于大数据平台多采用分布式架构，单节点调度的方式难以适应大数据集群中复杂的任务场景，且无法应对大数据量和高并发场景进行灵活扩展。

而现今的分布式任务调度系统则存在弊端如下：

1、工作流的任务只能在一个工作节点执行，不能分散到集群中的多个节点上执行，限制了调度能力，导致资源分布不均衡。

2、调度主机无法水平扩展，存在单点问题。在大数据集群任务的运行过程中，集群中主机的故障，需要人工干预，直至故障修复完成，大数据任务的调度将处于中断状态，可能影响业务进度。

3、集群的调度信息、任务的运行情况、节点的健康状态难以进行监控和分析。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于分布式部署的任务调度方法，解决现有技术工作流任务不能多节点执行、调度主机无法扩展、调度状态无法监控的问题，能够以一种高效、可伸缩、可监控的方式处理分布式环境下的大数据任务。

本发明的技术思路是：协调主机作为分布式架构的协调器，负责监控调度主机和执行主机的健康状态，并完成高可用调度主机的选举；调度主机作为分布式架构的主节点，负责接收数据处理作业并对执行节点进行任务调度；执行主机作为分布式架构的从节点，负责接收调度主机派发的任务并执行，在执行完毕后向调度主机反馈执行结果；调度主机至少建立2个，其中一个作为实际运行并提供任务调度的主用实例，另一个或多个作为备用实例；协调主机能够根据调度主机的健康状态选择高可用的备用实例切换为主用实例；调度主机能够将上一次派发失败或执行失败的任务重新进行任务调度。

为了达到上述目的，本发明采取的技术方案是：提供一种基于分布式部署的任务调度方法，用于对大数据平台中的数据处理任务进行分布式调度和执行。

所述大数据平台的数据处理任务是指，在大数据平台创建的数据采集、清洗、转换等数据处理作业。

所述基于分布式部署的任务调度方法包括：

步骤S1.根据用户需求对数据处理作业进行调度配置，定义数据处理作业的执行优先级、开始时间及执行周期；

步骤S2.根据作业的调度配置信息和历史调度信息，将作业按执行顺序依次输送至优先级作业队列；

步骤S3.被输送至优先级作业队列中的作业，根据其处理的数据时间范围，将作业平均分解成若干同等时间范围的子任务，分解的子任务进入任务队列；