[发明专利]一种Kubernetes环境下面向复杂任务的组合优先级调度方法

说明书

本发明的Kubernetes环境下面向复杂任务的组合优先级调度方法具体通过以下步骤来实现：a).计算每组任务的实际并行度；b).获取任务关键程度；c).获取用户优先级；d).获取用户的动态优先级；e).计算任务紧急程度；f).并行度和紧急程度的归一化处理；g).求优先级数值；h).pod排序和调度。本发明的组合优先级调度方法，由于在设置优先级时考虑到了任务并行性，可以避免其他任务提前占用节点资源导致并行任务无法获得资源而造成的任务执行失败问题。其次，在设置优先级时考虑到了任务紧急程度，可以保证紧急任务在节点资源不足时对非紧急任务所占用的资源进行抢占，从而成功执行紧急任务。

技术领域

本发明涉及一种组合优先级调度方法，更具体的说，尤其涉及一种Kubernetes环境下面向复杂任务的组合优先级调度方法。

背景技术

人工智能作为新时期最具发展潜力的技术已经在众多领域得以运用和发展，当前所有的人工智能计算并非都在严格意义上的云平台进行，但云计算仍是人工智能的基础计算平台，也是人工智能的能力集成到千万应用中的便捷途径。云计算是与信息技术、软件、互联网相关的一种服务，通过互联网来提供动态且易扩展的资源，通常这些资源都是虚拟化的资源，云即指这种计算资源共享池。而人工智能不仅丰富了云计算服务的特性，更让云计算服务更加符合业务场景的需求，并进一步解放人力。其中机器学习作为一种实现人工智能的方法，是人工智能技术的重点。针对大规模数据和计算任务，机器学习通常需要成千上万次的迭代计算，因此对云计算资源的需求量非常大，训练与优化模型的时间成本也比较高。为了在有限资源内快速完成机器学习任务，需要合理有效地调度分配云计算资源。

Kubernetes是在云计算领域十分热门的一个开源容器集群管理平台，拥有非常完备的集群管理能力。pod是Kubernetes中能够创建和部署的最小单元，包含了一个或多个容器。任务在Kubernetes中会被映射成为一个或多个pod，由于任务有先后顺序需要设置优先级所以pod同样需要设置优先级。Kubernetes将pod分成了三个QoS(服务质量)等级：Guaranteed：优先级最高；Best Effort：优先级最低；Burstable：优先级介于前两者之间。除了QoS等级，Kubernetes还允许用户自定义pod的优先级。需要在Kubernetes里提交一个优先级的定义，在定义里给属性value赋值。定义完优先级之后，pod即可以声明使用它。

Kubernetes默认的优先级定义中，value需要用户进行赋值，当面对较为复杂的任务时，需要考虑多种影响因子，如何赋予其适当的优先级成为关键。

发明内容

本发明为了克服上述技术问题的缺点，提供了一种Kubernetes环境下面向复杂任务的组合优先级调度方法。

本发明的Kubernetes环境下面向复杂任务的组合优先级调度方法，设需要通过Kubernetes资源管理平台进行调度的任务分别为task1、task2、…、taskn，共计n个任务；这n个任务又分为q组，1≤q≤n，设第i组包含h_i个任务，i≤q，h_i≤n，即第i组任务的并行度为h_i，第i组内h_i个任务分别记为task_i1、task_i2、…、其特征在于，Kubernetes环境下面向复杂任务的组合优先级调度方法具体通过以下步骤来实现：

a).计算每组任务的实际并行度；设硬件资源所包含的工作节点的数量为m个，每个工作节点上用于任务计算的CPU核心数为c，则硬件资源所支持m×c的最大任务并发量为m×c；对于每组的任务并行度h_i和硬件资源支持的最大任务并发量应当最小值优先，因此，第i组任务的实际并行度P_i通过公式(1)进行求取：

P_i＝min(h_i,m×c) (1)

直至所有任务组的实际并行度求取完毕；