[发明专利]基于集群的任务提交方法、计算机程序产品及电子设备有效
申请号: | 202110604816.5 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113254177B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 黄海升;陈武 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 集群 任务 提交 方法 计算机 程序 产品 电子设备 | ||
1.一种基于集群的任务提交方法,所述任务被拆分为由至少一个应用运行,其特征在于,所述方法包括:
从用户输入的指令中提取执行任务的实例的数据时间,所述数据时间由用户设定,针对不同实例所设定的数据时间不同;
获取所述任务预存的偏移时间,所述偏移时间基于以下方式确定:根据所述任务的下游任务的提交时间确定所述任务的完成时间;根据所述任务的完成时间与所述任务的执行时长计算第一偏移时间;根据所述任务的期望完成时间与所述执行时长计算第二偏移时间,将所述第一偏移时间与所述第二偏移时间中的最小值为所述偏移时间;
根据所述数据时间与所述偏移时间计算所述任务的提交时间;
根据所述提交时间,生成提交指令,并按照所述提交指令向集群提交所述任务。
2.根据权利要求1所述的方法,其特征在于,所述下游任务包括不同优先级的下游任务;所述完成时间包括不同优先级的完成时间;所述第一偏移时间包括不同优先级的第一偏移时间;所述确定所述第一偏移时间与所述第二偏移时间中的最小值为所述偏移时间,包括:
将所述第二偏移时间分别与所述不同优先级的第一偏移时间对比,确定最小值为不同优先级的偏移时间。
3.根据权利要求2所述的方法,其特征在于,所述提交时间还根据缓冲时间计算,优先级高的偏移时间对应的缓冲时间比优先级低的偏移时间对应的缓冲时间长;所述提交时间的计算步骤包括:
根据所述数据时间、所述不同优先级的偏移时间、以及不同优先级的偏移时间对应的缓冲时间,确定不同优先级的提交时间;
确定所述不同优先级的提交时间中的最小值为所述任务的提交时间。
4.根据权利要求1所述的方法,其特征在于,所述根据所述提交时间,生成提交指令,并按照所述提交指令向集群提交所述任务,包括:
将所述任务提交到任务队列,所述任务队列按照所述任务的执行时长以及算力耗费从低到高依次向所述集群提交所述任务。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当到达预设周期时,将所述任务列队中已超过所述提交时间的超时任务提交到超时队列,所述超时队列按照所述超时任务的超时时长从高到低依次向所述集群提交所述超时任务。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述集群的负载状态;
当表征所述负载状态的参数小于预设阈值时,向所述集群提交所述任务。
7.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
从用户输入的指令中提取执行任务的实例的数据时间,所述数据时间由用户设定,针对不同实例所设定的数据时间不同;所述任务被拆分为由至少一个应用运行;
获取所述任务预存的偏移时间,所述偏移时间基于以下方式确定:根据所述任务的下游任务的提交时间确定所述任务的完成时间;根据所述任务的完成时间与所述任务的执行时长计算第一偏移时间;根据所述任务的期望完成时间与所述执行时长计算第二偏移时间,将所述第一偏移时间与所述第二偏移时间中的最小值为所述偏移时间;
根据所述数据时间与所述偏移时间计算所述任务的提交时间;
根据所述提交时间,生成提交指令,并按照所述提交指令向集群提交所述任务。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现权利要求1-6任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110604816.5/1.html,转载请声明来源钻瓜专利网。