[发明专利]分布式任务调度方法及装置、电子设备及可读存储介质在审
申请号: | 201711486482.6 | 申请日: | 2017-12-29 |
公开(公告)号: | CN108304255A | 公开(公告)日: | 2018-07-20 |
发明(设计)人: | 伍佳 | 申请(专利权)人: | 北京城市网邻信息技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F11/07;G06F11/20 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;刘芳 |
地址: | 100015 北京市朝阳区酒仙桥*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务执行节点 主节点 可读存储介质 电子设备 任务调度 拉取 任务执行结果 发送 单点故障 接收目标 请求分配 任务队列 预设频率 可用性 感知 存活 分配 | ||
1.一种分布式任务调度方法,其特征在于,包括:
主节点接收多个任务执行节点以预设频率发送的任务拉取请求,所述主节点为Zookeeper集群在多个任务调度节点和所述多个任务执行节点均注册到Zookeeper集群上之后,按照预设规则从所述多个任务调度节点中选择的一个任务调度节点;
所述主节点根据接收到的任务拉取请求分配任务给目标任务执行节点,所述目标任务执行节点为所述多个任务执行节点中的一个任务执行节点;
所述主节点接收所述目标任务执行节点在执行所分配的任务后发送的任务执行结果,在感知到所述目标任务执行节点出现故障时将所述目标任务执行节点的执行中任务队列转移到其它存活的任务执行节点。
2.根据权利要求1所述的方法,其特征在于,所述预设规则为:
将时序编号最小的任务调度节点作为主节点;
在当前主节点宕机时,将剩余任务调度节点中时序编号最小的任务调度节点作为新的主节点。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述主节点在所述任务执行结果为失败时,根据所述任务配置信息确定是否可进行任务重试;
所述主节点若确定可进行任务重试,则根据所述任务配置信息中的可重试次数进行任务重试;
所述主节点若确定不可进行任务重试或剩余可重试次数为0时,确定当前任务执行失败。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述方法还包括:
所述主节点在确定当前任务执行失败时调用任务调度系统基础服务模块进行报警。
5.一种分布式任务调度装置,其特征在于,所述分布式任务调度装置为Zookeeper集群在多个任务调度节点和多个任务执行节点均注册到Zookeeper集群上之后,按照预设规则从所述多个任务调度节点中选择的一个任务调度节点,所述分布式任务调度装置包括:
接收模块,用于接收所述多个任务执行节点以预设频率发送的任务拉取请求;
任务分配模块,用于根据接收到的任务拉取请求分配任务给目标任务执行节点,所述目标任务执行节点为所述多个任务执行节点中的一个任务执行节点;
所述接收模块还用于:接收所述目标任务执行节点在执行所分配的任务后发送的任务执行结果;
处理模块,用于在感知到所述目标任务执行节点出现故障时将所述目标任务执行节点的执行中任务队列转移到其它存活的任务执行节点。
6.根据权利要求5所述的装置,其特征在于,所述预设规则为:
将时序编号最小的任务调度节点作为主节点;
在当前主节点宕机时,将剩余任务调度节点中时序编号最小的任务调度节点作为新的主节点。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
任务重试模块,用于在所述任务执行结果为失败时,根据所述任务配置信息确定是否可进行任务重试;
若确定可进行任务重试,则根据所述任务配置信息中的可重试次数进行任务重试;
若确定不可进行任务重试或剩余可重试次数为0时,确定当前任务执行失败。
8.根据权利要求5~7任一项所述的装置,其特征在于,所述装置还包括:
报警模块,用于在确定当前任务执行失败时调用任务调度系统基础服务模块进行报警。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用并执行所述存储器中的程序指令,以实现权利要求1~4任一项所述的分布式任务调度方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,当分布式任务调度装置的至少一个处理器执行所述计算机程序时,分布式任务调度装置执行权利要求1~4任一项所述的分布式任务调度方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京城市网邻信息技术有限公司,未经北京城市网邻信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711486482.6/1.html,转载请声明来源钻瓜专利网。