[发明专利]基于k8s自动拓展强化学习任务调度方法、装置及系统

说明书

本发明提供了基于k8s自动拓展强化学习任务调度方法、装置及系统，该方法包括：k8s的API server接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；k8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；当资源不足时，k8s会通过API server删除工作节点并申请更多资源的个工作节点；当资源过多时，k8s会删除工作节点并申请更少资源的工作节点；k8s将新的节点信息同步到Autoscaler组件。本发明基本无需人工干预，可以进行任务动态的扩缩容，且容易和平台直接结合，直接复用平台资源调度系统。

技术领域

本发明书一个或多个实施例涉及计算机技术领域，尤其涉及一种基于k8s自动拓展强化学习任务调度方法、装置及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

数据中心虚拟化建设，其中一个重要的目的是提高物理资源的利用率。在将传统业务迁移至虚拟化环境中后，将多个应用系统整合在同一台服务器中，虽然提高了单台服务器的物理资源利用率。但仍然有很多应用系统虚拟机资源分配过剩，资源浪费严重的现象存在。导致此现象的原因有几点：第一应用系统虚拟机申请人对应用系统运行状况了解不深入，申请的资源一般情况下超过应用系统业务峰值时所需要的资源。第二由于应用的类型特殊，无法估计正确的业务峰值、平均值所需资源。第三不同的业务系统在不同的时段对不同的资源(CPU、内存、网络)消耗是不同的。

目前主要是通过采集虚拟机系统性能参数判断业务压力进行动态调度，并避免虚拟机空闲时资源过剩和高负载时节点资源分布不均衡，来解决数据中心业务系统虚拟机存在的资源分配过剩及资源不足。

但该方法存在如下问题：

(1)虚拟机相对于容器，动态资源分配能力弱，任务横向拓展慢。

(2)没有针对强化学习特定场景的优化，例如高可用。

有鉴于此，亟需一种新的处理技术，用于解决大规模强化学习训练时，任务不易动态拓展问题，以及为大规模强化学习提供高可用的解决方案。

发明内容

本说明书一个或多个实施例描述了基于k8s自动拓展强化学习任务调度装置方法、装置及系统，解决了大规模强化学习训练时，任务不易动态拓展问题，以及为大规模强化学习提供高可用的问题。

本说明书一个或多个实施例提供的技术方案如下：

第一方面，本发明提供了基于k8s自动拓展强化学习任务调度方法，包括以下步骤：

k8s的API server接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；

k8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；

当资源不足时，k8s通过API server删除工作节点并申请更多资源的个工作节点；

当资源过多时，k8s删除工作节点并申请更少资源的工作节点；

k8s将新的节点信息同步到Autoscaler组件。

在一个示例中，所述创建高可用强化学习任务为创建强化学习任务架构，所述架构主要包括工作节点和主节点；其中，

工作节点包括工作进程、调度器及对象存储；

主节点包括工作进程、调度器、对象存储、驱动及全局控制器；