[发明专利]基于Kubernetes智能板卡集群的资源集成监控与调度装置

说明书

本发明公开了一种基于Kubernetes智能板卡集群的资源集成监控与调度装置。其中，该装置包括：自定义调度器、智能板卡集成组件、智能板卡监控组件以及节点优先级队列；本发明基于Kubernetes调度框架开发自定义调度器以解决集群资源碎片问题，优化集群资源利用率；通过智能板卡集成组件框架向Kubernetes集群中集成国产智能板卡资源，使得Kubernetes集群能够对异构硬件进行设备的发现并且使容器能够对该资源进行申请；通过智能板卡监控组件向分布式监控组件Prometheus汇报智能板卡运行时参数；通过节点优先级缓存队列，从性能上解决了大规模集群下使用默认调度策略的效率低下问题。

技术领域

本发明实施例涉及Kubernetes智能板卡集群技术领域，尤其涉及一种基于Kubernetes智能板卡集群的资源集成监控与调度装置。

背景技术

针对大规模的容器进行编排管理已经成为了保证云服务部署便利性以及运行稳定性的一种必然性趋势。Kubernetes容器编排引擎在Docker容器的基础之上增加了一层新的抽象对象Pod，以便更好地利用容器进行应用的功能模块划分。其一经公布就得到了众多IaaS云服务提供商的支持，并凭借其活跃的社区以及超强的可拓展性，很快占领了容器云的主要市场，逐渐成为容器云平台的事实标准。

然而在一个拥有大数据和多样化工作负载的世界中，对计算的需求是无穷无尽的。随着人工智能的发展，一个集群中越来越多的实例将处理着AI相关的业务，复杂的神经网络运算也逐渐证明了当下对计算能力的需求是无止境的。同时，随着业务的复杂度不断提升，国内市场上也不断涌现出应用于某一特殊领域的国产专用芯片，如寒武纪科技推出的MLU100与MLU200系列高性能深度学习处理器。本申请的国产智能板卡集群环境也基于寒武纪MLU100与MLU270进行构建，但这类设备往往与集群中常规的CPU等设备是异构的。而Kubernetes作为一种通用的容器编排引擎，在对基于国产智能板卡集群进行统一虚拟化纳管时，往往会出现如下几个问题：

1、无法默认对特殊的国产智能板卡进行集成导致容器无法申请资源

这带来的巨大的问题是：Kubernetes在执行容器调度的过程中，仍仅仅只能通过CPU以及内存利用率作为调度的依据，这种较为单一化的调度指标无法充分考虑到部分异构国产智能板卡的资源情况，往往导致当容器调度到某一个节点上且满足CPU和内存的需求时，无法充分利用这些设备的资源导致任务失败。

2、分布式监控组件无法获取国产智能板卡信息

在现如今Kubernetes集群的管理中，通常采用Prometheus分布式监控组件对集群的软件服务与硬件进行监控，而由于异构设备的存在，Prometheus在硬件方面的监控也只能针对常规的硬件设备，如CPU、内存、网卡等。因此无法监控到异构硬件设备的运行时信息，为设备异常的排查以及服务的部署带来困难。

3、默认调度策略导致集群资源出现碎片

Kubernetes Api Server在接收到开发或运维人员的容器的调度请求时，通过调度器组件来执行具体的调度流程。而其默认的调度算法偏向于将容器进行负载均衡地调度。而这种默认调度策略往往会导致出现如下问题：当集群负载较高的情况下，由于均衡的调度策略导致每一个节点的剩余资源量都比较少，而当一个资源需求较高的容器到来时，集群的剩余资源总量足够的情况下却没有一个节点能够满足其调度需求，导致容器被迫暂停调度(Pending)，而集群当前剩余的资源在之后的容器调度过程中也难以充分利用，处于一个碎片化的分布状态。

4、大规模集群中使用默认调度策略效率低下