[发明专利]任务的调度处理方法、装置及计算机设备在审
| 申请号: | 201910844301.5 | 申请日: | 2019-09-06 |
| 公开(公告)号: | CN110554909A | 公开(公告)日: | 2019-12-10 |
| 发明(设计)人: | 王自昊 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
| 代理公司: | 44285 深圳市深佳知识产权代理事务所(普通合伙) | 代理人: | 王兆林 |
| 地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 依赖关系 有向无环图 构建 任务调度队列 并行执行 计算资源利用率 计算机设备 串行执行 调度处理 计算效率 任务串行 任务执行 深度遍历 重复执行 前置 申请 调度 | ||
1.一种任务的调度处理方法,其特征在于,包括:
确定各个任务之间的依赖关系;
基于各个任务之间的依赖关系,构建任务的有向无环图;
通过对所述有向无环图进行深度遍历,构建任务调度队列;
基于所述任务调度队列及各个任务之间的依赖关系,控制各个任务的调度与执行;其中,具备依赖关系的不同任务按依赖关系串行执行,不具备依赖关系的不同任务中的至少部分任务并行执行。
2.根据权利要求1所述的方法,其特征在于,所述有向无环图的各个节点与所述各个任务一一对应,所述有向无环图的不同节点之间的有向边指示不同任务之间的依赖关系。
3.根据权利要求2所述的方法,其特征在于,所述通过对所述有向无环图进行深度遍历,构建任务调度队列,包括:
根据指定的至少一个目标任务,对所述有向无环图进行深度遍历,得到对应于每个目标任务的依赖路径;目标任务的依赖路径包括有向无环图中从目标任务直至目标任务依赖的根任务的各个任务;
以各个依赖路径上的根任务为起始,对各个依赖路径上的任务进行层序遍历,得到各个任务层;
为每个任务层构建一个任务调度队列,并将处于同一任务层的任务分配至相对应的同一任务调度队列。
4.根据权利要求2所述的方法,其特征在于,所述通过对所述有向无环图进行深度遍历,构建任务调度队列,包括:
随机选取所述有向无环图中的至少一个目标任务;
根据所述至少一个目标任务,对所述有向无环图进行深度遍历,得到所述至少一个目标任务对应的至少一个根任务;
以所述至少一个根任务为起始,对所述有向无环图进行层序遍历,得到各个任务层;
为每个任务层构建一个任务调度队列,并将处于同一任务层的任务分配至相对应的同一任务调度队列。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述任务调度队列及各个任务之间的依赖关系,控制各个任务的调度与执行,包括:
按层序确定当前需调度的第一调度队列;
将所述第一调度队列中的各个任务分配给相应数量的各个计算单元并行执行;在执行任务时,若该任务不存在依赖的前置任务,直接执行该任务,若存在依赖的前置任务,获取所依赖的前置任务的任务结果,并基于所述前置任务的任务结果执行该任务;
对所述第一调度队列中各任务的任务结果进行持久化处理,以供相对应的后置任务调用。
6.根据权利要求2所述的方法,其特征在于,所述通过对所述有向无环图进行深度遍历,构建任务调度队列,包括:
随机选取所述有向无环图中的至少一个目标任务;
根据所述至少一个目标任务,对所述有向无环图进行深度遍历,得到所述至少一个目标任务对应的至少一个根任务;
以所述至少一个根任务为起始,根据所述有向无环图中各个任务之间的依赖关系以及各个任务的任务性质,对各个任务进行分类,得到各个任务类;
为每个任务类构建一个任务调度队列,并将处于同一任务类的任务分配至相对应的同一任务调度队列。
7.根据权利要求6所述的方法,其特征在于,所述基于所述任务调度队列及各个任务之间的依赖关系,控制各个任务的调度与执行,包括:
基于任务性质,确定当前需调度的第二调度队列;
若所述第二调度队列中的当前待调度任务不具有依赖的前置任务,分配所述当前待调度任务至相应计算单元执行;
若所述当前待调度任务具有依赖的前置任务,等待至所述前置任务执行结束时分配所述当前待调度任务至相应计算单元执行;
若所述第二调度队列中存在与所述当前待调度任务不具有依赖关系的其他任务,将所述当前待调度任务与所述其他任务分配至不同计算单元并行执行;
对所述第二调度队列中各任务的任务结果进行持久化处理,以供相对应的后置任务调用。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910844301.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据包处理方法
- 下一篇:优化分布式计算效能的方法和装置





