[发明专利]分布式任务调度方法、装置、计算机设备和存储介质有效
申请号: | 201910469193.8 | 申请日: | 2019-05-31 |
公开(公告)号: | CN110290180B | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 张宇航;杨志强;吕良广 | 申请(专利权)人: | 北京大米科技有限公司 |
主分类号: | H04L67/1001 | 分类号: | H04L67/1001;H04L67/1097;H04L67/60;G06F9/50 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 范胜祥 |
地址: | 100007 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 任务 调度 方法 装置 计算机 设备 存储 介质 | ||
1.一种分布式任务调度方法,其特征在于,包括:
在满足目标任务的触发条件时,控制节点在服务器集群中选择目标服务器;其中,所述目标服务器用于在客户端集群中调度用于执行所述目标任务的多个客户端;
所述控制节点指示所述服务器集群中除所述目标服务器之外的其他服务器监听所述目标服务器的任务调度结果;其中,所述其他服务器在监听到所述任务调度结果为调度失败的情况下,根据预设的竞争策略竞争所述目标任务;
其中,所述控制节点指示所述服务器集群中除所述目标服务器之外的其他服务器监听所述目标服务器的任务调度结果,包括:
接收来自第一服务器集合中各个服务器的监听注册请求;其中,所述第一服务器集合为所述服务器集群中除所述目标服务器之外的其他服务器;
响应所述监听注册请求,向所述第一服务器集合中各个服务器发送监听成功响应;其中,所述监听成功响应表示允许监听所述目标服务器的任务调度结果;
其中,所述方法还包括:
在所述目标服务器的任务调度结果为调度失败的情况下,接收来自所述第一服务器集合中各个服务器节点发送的任务竞争请求;
根据预设的竞争策略从所述第一服务器集合中选择一个服务器;
向所述第一服务器集合中各个服务器发送携带所述选择的服务器的标识的调度竞争响应。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述任务调度结果为成功时,所述服务器指示所述第一服务器集群中的各个服务器停止监听所述目标服务器的任务调度结果。
3.根据权利要求2所述的方法,其特征在于,所述预设的竞争策略包括:
基于服务器发起的任务竞争请求的时间戳,将最早发送任务竞争请求的服务作为竞争到所述目标任务的服务器;或
基于服务器发送的任务竞争请求的优先级,将优先级最高的任务竞争请求的服务竞争到所述目标任务的服务器。
4.一种分布式任务调度方法,其特征在于,包括:
服务器接收控制节点发送的调度指示消息,基于所述调度指示消息根据预设的调度策略在客户端集群中调度多个客户端;其中,所述调度指示消息携带目标任务的标识和所述服务器的标识;
在任务调度结果为调度成功的情况下,所述服务器根据预设的执行策略指示所述多个客户端执行所述目标任务;
所述服务器接收来自所述多个客户端的任务执行结果;
其中,在任务调度结果为调度失败的情况下,所述控制节点用于接收来自第一服务器集合中各个服务器节点发送的任务竞争请求;所述服务器不为所述第一服务器集合中的任意一个服务器;
所述控制节点用于根据预设的竞争策略从所述第一服务器集合中选择一个服务器;
所述控制节点还用于向所述第一服务器集合中各个服务器发送携带所述选择的服务器的标识的调度竞争响应。
5.根据权利要求4所述的方法,其特征在于,所述服务器根据预设的执行策略指示所述多个客户端执行所述目标任务,包括:
将所述目标任务分解为多个子任务;
获取所述多个客户端的负荷信息;
根据所述多个客户端的负荷信息将所述多个子任务分配给所述多个客户端;其中,分配给负荷重的客户端的子任务数量小于负荷轻的客户端的子任务数量;
指示所述多个客户端执行分配的子任务。
6.根据权利要求4或5所述的方法,其特征在于,所述基于所述调度指示消息根据预设的调度策略在客户端集群中调度多个客户端,包括:
根据CPU使用率和内存使用率中的一种或多种从客户端集群中调度多个客户端。
7.根据权利要求6所述的方法,其特征在于,还包括:
若所述目标任务在执行过程中发生中断,所述服务器获取所述目标任务的断点信息;
服务器将断点信息发送给所述服务器集群中的各个服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大米科技有限公司,未经北京大米科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910469193.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于Hadoop的分布式移动基站数据存储系统
- 下一篇:蜂场数据采集系统