[发明专利]任务执行方法及装置、分布式系统

说明书

本申请公开了一种任务执行方法及装置、分布式系统。其中，该方法包括：分布式主机启动任务调度模块，获取与所述任务调度模块对应的一个或多个指定任务，其中，所述指定任务为定时任务中已到达定时时间的任务，所述定时任务为所述分布式主机的定时任务；将所述指定任务存储至消息队列中供所述多个主机调用执行。

技术领域

本申请涉及分布式任务处理领域，具体而言，涉及一种任务执行方法及装置、分布式系统。

背景技术

在对特定类型的数据进行处理时，往往会涉及到延时处理或定时处理，例如风控系统中，除了常见的对风险实时处理外，还存在着暂时保留风险数据，延迟处理风险数据的需求，或者存在需要定时处理风险数据的需求。由于系统处理量大，以及数据不能丢失，因此不能直接在内存中做延时处理。一般需要将风险数据暂存，等符合条件后再取出处理。常见的处理方案有：

内存中延迟处理：直接使用线程暂停等方法实现延迟。

将任务存储于数据库，产生任务的主机负责任务的延迟、延时检测和执行。

将任务写入数据库，由集群Master负责任务的延时检测，执行。

将任务写入数据库，由多个Master共同检测过期任务，通过分布式加锁的方式保证任务不被重复执行。

但是，上述处理方案中存在以下缺陷：

内存中延迟处理：这种方式仅适用于数据量小、允许数据丢失的场景。因为数据量大后内存会不够，如果出现宕机，则数据会丢失。

任务存储于数据库，单机处理：这种方式任务的处理与主机绑定，如果主机宕机或下线，则任务不能被正常执行。

集群Master检测和执行任务：这种方式将所有负载置于Master主机上，不能承载大流量，Master宕机后任务执行会中断。

分布式加锁方式：每台Master都需要扫描全量任务，每秒扫描次数被放大N倍；集群规模大、检测模块数量多时会有大量无效过程(扫描，加锁)；加锁时长不好控制(加锁过程负载过重或者加锁过程会过早失效)。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种任务执行方法及装置、分布式系统，以至少解决相关技术中在对风险数据进行延时处理过程中存在稳定性和数据会丢失以及处理任务量较小的技术问题。

根据本申请实施例的一个方面，提供了一种任务执行方法，应用于多个主机，其中，所述多个主机中的至少一个主机包括：数据库模块，用于存储所述多个主机的定时任务，其特征在于，所述多个主机中的每个主机中还包括：与所述数据库模块连接的任务调度模块；所述方法包括：所述多个主机启动所述任务调度模块，获取与所述任务调度模块对应的一个或多个指定任务，其中，所述指定任务为所述定时任务中已到达定时时间的任务；将所述指定任务存储至消息队列中供所述多个主机调用执行。

根据本申请实施例的另一方面，还提供了一种分布式系统，包括：多个主机，其中，每个主机中包括：存储器，用于存储数据库模块和任务调度模块，其中，所述数据库模块用于存储所述多个主机的定时任务；处理器，用于启动任务调度模块，获取与所述任务调度模块对应的一个或多个指定任务，其中，所述指定任务为所述定时任务中已到达定时时间的任务。

根据本申请实施例的另一方面，还提供了一种任务执行装置，该装置应用于多个主机，其中，所述多个主机中的至少一个主机包括：数据库模块，用于存储所述多个主机的定时任务，其特征在于，所述多个主机中的每个主机中还包括：与所述数据库模块连接的任务调度模块；所述装置包括：启动模块，用于启动任务调度模块，获取与所述任务调度模块对应的一个或多个指定任务，其中，所述指定任务为定时任务中已到达定时时间的任务，所述定时任务为所述分布式主机的定时任务；存储模块，用于将所述指定任务存储至消息队列中供所述多个主机调用执行。