[发明专利]任务调度系统、方法、电子设备及可读存储介质在审
申请号: | 202110262485.1 | 申请日: | 2021-03-09 |
公开(公告)号: | CN113051049A | 公开(公告)日: | 2021-06-29 |
发明(设计)人: | 武庚晨 | 申请(专利权)人: | 北京迈格威科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 唐正瑜 |
地址: | 100090 北京市海淀区科*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 调度 系统 方法 电子设备 可读 存储 介质 | ||
1.一种任务调度系统,其特征在于,所述系统包括:
对外接口层,用于接收目标任务,所述目标任务包括待处理数据和目标任务类型;
计算引擎层,用于根据所述目标任务类型对应的配置信息,将所述目标任务拆分成多个由计算平台的处理器执行的子任务,并将所述子任务提交给原子接口层;其中,所述配置信息包含完成所述目标任务所要执行的子任务和各个子任务之间的依赖关系;
所述原子接口层,用于确定执行各所述子任务所需的处理器,通过调用计算平台的计算接口将所述子任务分发至相应处理器;
硬件抽象层,包含至少一个计算平台的计算接口。
2.根据权利要求1所述的系统,其特征在于,所述目标任务的数量为多个;
所述计算引擎层包括任务拆分模块、异步任务模块和任务处理模块;
所述任务拆分模块,用于根据所述目标任务类型对应的配置信息,将每个目标任务拆分成多个由计算平台的处理器执行的子任务,得到每个目标任务的子任务执行流;
所述异步任务模块,用于将多个所述目标任务插入到异步任务队列中;
所述任务处理模块,用于从所述异步任务队列中获取当前处理的当前目标任务,执行所述当前目标任务的子任务,直到所述当前目标任务的各子任务均执行完毕,所述执行当前目标任务的子任务包括:根据所述当前目标任务的子任务执行流从所述当前目标任务的各子任务中确定当前要执行的当前子任务,将所述当前子任务提交给所述原子接口层。
3.根据权利要求2所述的系统,其特征在于,
所述执行当前目标任务的子任务还包括:从所述原子接口层获取当前子任务的执行结果,将当前子任务作为上一子任务,将所述执行结果作为新的当前子任务的输入;
根据所述当前目标任务的子任务执行流从所述当前目标任务的各子任务中确定当前要执行的当前子任务包括:根据所述上一子任务和所述当前目标任务的子任务执行流,从所述当前目标任务的各子任务中确定当前要执行的当前子任务。
4.根据权利要求1-3任一项所述的系统,其特征在于,每个子任务都有其对应的处理器类型;
所述将当前子任务提交给所述原子接口层,包括:将所述当前子任务提交给所述当前处理器类型对应的worker模块,所述worker模块位于所述原子接口层。
5.根据权利要求1-4任一项所述的系统,其特征在于,
所述确定执行各所述子任务所需的处理器,包括:对所述计算平台的处理器进行负载统计,并根据处理器的负载情况,确定执行当前子任务的处理器。
6.根据权利要求5所述的系统,其特征在于,
所述根据处理器的负载情况,确定执行所述当前子任务的处理器,包括:
根据接收当前子任务的worker模块对应的处理器类型确定当前处理器类型,确定当前处理器类型对应的各处理器的负载情况,根据所述负载情况从当前处理器类型对应的各处理器中确定执行所述当前子任务的处理器。
7.根据权利要求2-6任一项所述的系统,其特征在于,
所述计算引擎层所能获取的当前目标任务的最大数量为N个,对于多个所述当前目标任务,执行各当前目标任务的子任务的步骤并行执行。
8.根据权利要求1-7任一项所述的系统,其特征在于,
所述对外接口层包括handle接口;
所述handle接口,用于接收算法句柄的初始化请求,所述初始化请求包括所述目标任务的配置信息和与所述目标任务相关的需加载的模型信息;
所述根据目标任务类型对应的配置信息,将多个所述目标任务拆分成多个由计算平台的处理器执行的子任务,包括:根据目标任务类型对应的配置信息,将所述模型信息组织成所述目标任务的子任务执行流。
9.根据权利要求1-8任一项所述的系统,其特征在于,
所述硬件抽象层,还用于通过注册回调函数的方式将待注册的计算平台注册到所述硬件抽象层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京迈格威科技有限公司,未经北京迈格威科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110262485.1/1.html,转载请声明来源钻瓜专利网。