[发明专利]一种分布式异步任务调度方法及电子设备在审
申请号: | 201910903256.6 | 申请日: | 2019-09-24 |
公开(公告)号: | CN110851245A | 公开(公告)日: | 2020-02-28 |
发明(设计)人: | 林维镇 | 申请(专利权)人: | 厦门网宿有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 上海晨皓知识产权代理事务所(普通合伙) 31260 | 代理人: | 成丽杰 |
地址: | 361003 福建省厦门市集*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 异步 任务 调度 方法 电子设备 | ||
1.一种分布式异步任务调度方法,其特征在于,包括:
从用于给各个进程进行任务配置的配置中心获取任务信息,其中,所述任务信息至少包括给当前进程配置的目标任务队列,所述目标任务队列中存储有待执行的异步任务;
从所述目标任务队列中获取批量的目标任务;
调取所述目标任务并执行。
2.根据权利要求1所述的分布式异步任务调度方法,其特征在于,
所述配置中心还用于给各个任务队列配置任务并发规则,所述任务信息还包括所述目标任务队列对应的任务并发规则;
所述从所述目标任务队列中获取批量的目标任务具体为:
根据所述目标任务队列对应的任务并发规则从所述目标任务队列中获取批量的目标任务。
3.根据权利要求2所述的分布式异步任务调度方法,其特征在于,
所述配置中心通过任务配置表和任务队列管理表给各个任务队列配置任务并发规则,并且所述任务配置表还用于记录为各个进程配置的任务类型,所述任务队列管理表还用于记录各个任务类型分别对应的任务队列;
所述从用于给各个进程进行任务配置的配置中心获取任务信息,具体为:
从所述配置中心中的任务配置表和任务队列管理表中获取任务信息。
4.根据权利要求3所述的分布式异步任务调度方法,其特征在于,给所述各个任务队列配置的所述任务并发规则至少包括处理所述各个任务队列中任务的并发线程数;并且所述处理所述各个任务队列中任务的并发线程数根据线程池处理任务的速度实时调整。
5.根据权利要求3所述的分布式异步任务调度方法,其特征在于,给所述各个任务队列配置的所述任务并发规则还包括任务高峰时间段,并且对于存储非核心任务的任务队列,在所述任务高峰时间段的并发线程数低于非任务高峰时间段的并发线程数。
6.根据权利要求1所述的分布式异步任务调度方法,其特征在于,所述任务信息还包括每次从所述目标任务队列中获取的任务数,所述每次从所述目标任务队列中获取的任务数通过以下方式得到:
每次从所述目标任务队列中获取的任务数=所述目标任务队列的处理线程数*线程池负载系数–等待处理任务数–正在处理任务数。
7.根据权利要求1所述的异步任务调度方法,其特征在于,所述方法还包括:所述配置中心还用于更改任务并发规则和任务状态。
8.根据权利要求1所述的分布式异步任务调度方法,其特征在于,所述调取所述目标任务并执行,至少包括:
若有任务执行失败,判断所述任务的重试次数是否未达到预设阈值,若是,则将重试任务重新加入任务队列当中,其中,所述预设阈值根据所述任务业务类型的不同而不同。
9.根据权利要求1所述的分布式异步任务调度方法,其特征在于,
所述目标任务队列中的任务按优先级顺序排列。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9中任一所述的分布式异步任务调度方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门网宿有限公司,未经厦门网宿有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910903256.6/1.html,转载请声明来源钻瓜专利网。