[发明专利]基于分布式调度系统的任务调度方法、服务器及存储介质

说明书

本发明提供了一种基于分布式调度系统的任务调度方法、装置及存储介质，该方法接收大批量的任务调度请求，根据请求批量创建定时任务，将每个任务的相关信息存储至消息队列。之后，该方法接收消息队列中的任务，按预设的方式将各任务下发至相应的主机执行，并实时监控各任务的执行状态。若某任务执行失败，则按预设的任务重启规则自动触发执行该任务的主机再次执行该任务，若再次触发执行失败，则负载均衡设备在该任务中写入执行状态标识信息后将该任务转发至其它主机执行，直至该任务执行成功，将该任务执行结果以日志形式存储至数据库。利用本发明，能够实现大批量分布式调度任务的调度，提升分布式系统的吞吐量。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于分布式调度系统的任务调度方法、服务器及计算机可读存储介质。

背景技术

在互联网、云计算、大数据时代，任务的处理方面存在大数据、高并发的特点。分布式任务调度系统主要是为了在协调多节点处理相同任务时，避免数据被重复处理。通过集群的节点分担大批量任务的处理，提高批量任务的处理效率。

现有分布式调度系统是基于数据库实现任务调度的，系统中执行任务的节点将任务的相关信息逐一写入数据库，各个节点的调度器都遵守一个基于数据库锁的操作规则以保证操作的唯一性，但这种调度策略存在一定的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。且这种情况随着节点的增加会越来越严重。

发明内容

鉴于以上内容，本发明提供一种基于分布式调度系统的任务调度方法、服务器及计算机可读存储介质，其主要目的在于合理调度任务，提高任务调度可靠性，提升分布式调度系统的吞吐量。

为实现上述目的，本发明提供一种基于分布式调度系统的任务调度方法，该方法包括：

创建步骤：接收大批量的任务调度请求，根据任务调度请求批量创建定时任务，将每个定时任务的相关信息以消息的方式存储至消息队列；

监控步骤：接收消息队列中的定时任务，按预设的方式将各定时任务下发至相应的主机执行，并实时监控各定时任务的执行状态；

执行步骤：若某定时任务执行失败，则按预设的任务重启规则自动触发执行该定时任务的主机再次执行该定时任务，若按预设的任务重启规则再次触发执行该定时任务仍然返回失败状态，则负载均衡设备在该定时任务中写入执行状态标识信息后将该定时任务转发至其它主机执行，直至该定时任务执行成功，将该定时任务执行结果以日志形式存储至数据库。

优选地，所述预设的任务重启规则包括：

设置重启次数的阈值，在该定时任务的有效时间内每隔预设时间触发执行该任务，直至该定时任务成功或达到重启次数的阈值。

优选地，所述预设的方式包括：

根据可用主机的数量，将定时任务或任务组均匀分配至各个主机执行，或者根据定时任务数量与主机数量通过取模取余的方式分配至各主机执行，或者将定时任务分配至当前负载最低的一台或多台主机执行。

优选地，所述创建步骤包括：

将创建的定时任务按照预设的划分规则进行划分任务组，设置每个任务组中任务的触发时间周期或执行时间。

优选地，所述执行状态标识信息包括之前执行该定时任务的主机地址、执行失败的时间、重启次数及执行失败的原因。

优选地，该方法还包括步骤：若达到有效时间或重启次数的阈值，该定时任务未执行成功或完毕，则反馈执行失败的结果至负载均衡设备。

此外，本发明还提供一种服务器，该服务器包括：存储器、处理器及显示器，所述存储器上存储任务调度程序，所述任务调度程序被所述处理器执行，可实现如下步骤：