[发明专利]一种批处理任务调度方法、装置及电子设备

说明书

本发明公开了一种批处理任务调度方法、装置及电子设备，该方法包括：预先对批处理任务进行配置；检测到满足批处理任务的启动条件，启动批处理任务；每隔一预定时间获取批处理任务的状态，判断批处理任务是否完成；若批处理任务未完成，则继续执行批处理任务；若批处理任务已完成，则判定批处理任务调度结束。本发明实施例可用于完成商户账户的批处理清结算任务，可实现对任务进行配置，实现对大量的批处理任务进行有效的管理，满足大量批处理任务的执行需求。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种批处理任务调度方法、装置及电子设备。

背景技术

在现代企业应用中，面对复杂的业务以及海量的数据，经常需要使用批处理方式来处理那些对实时性要求不高、数据处理较为复杂的情况。批处理不需要人工干预，只需要定期读入大批量数据，然后完成相应业务处理并进行归档，是现代不可或缺的一种数据处理方式。但是在批处理任务非常多的情况下，如何进行批处理调度，是一个不容忽视的问题。

现有技术中的阿里开源任务调度框架TBSchedule，当当网开源分布式任务调度框架Elastic-Job等。现有的任务调度框架非轻量级，甚至依赖其他开源组件(如zookeeper等)，部署集成较为麻烦。目前分布式任务调度框架并没有大的基金会(如Apache、CNCF等)在维护，当出现漏洞的时候可能无法及时更新升级，甚至有些框架已经不再维护。当配置了任务的依赖关系后，必须等前置任务完成，才能继续后继任务，不支持当前置任务达到某一阶段后就可以触发后继任务的执行。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种批处理任务调度方法、装置及电子设备，旨在解决现有技术中批任务调度方法部署麻烦，被调度的任务存在依赖关系，批处理效率低的技术问题。

本发明的技术方案如下：

一种批处理任务调度方法，所述方法包括：

预先对批处理任务进行配置；

检测到满足批处理任务的启动条件，启动批处理任务；

每隔一预定时间获取批处理任务的状态，判断批处理任务是否完成；

若批处理任务未完成，则继续执行批处理任务；

若批处理任务已完成，则判定批处理任务调度结束。

进一步地，所述预先对批处理任务进行配置，包括：

通过执行sql语句，在任务配置表中初始化任务，完成对批处理任务的配置。

进一步优选地，所述在任务配置表中初始化任务，包括：

在任务配置表中设置开始任务和结束任务；

获取任务配置表中的每个任务，并对每个任务设置前置任务和后置任务。

进一步优选地，所述预先对批处理任务进行配置，还包括：

预先设置固定时间创建开始任务，并置任务状态为运行中。

优选地，所述每隔一预定时间获取批处理任务的状态，判断批处理任务是否完成，包括：

每隔一预定时间获取当天已创建的批处理任务列表，循环处理执行中的任务；

判断当前任务是否为结束任务；

若当前任务是结束任务，则判定批处理任务完成；

若当前任务不是结束任务，则判定批处理任务未完成。

进一步地，所述若当前任务不是结束任务，则判定批处理任务未完成后，包括：