[发明专利]一种深度学习框架的调度方法及系统

权利要求书

1.一种深度学习框架的调度系统，包括全局资源管理器ResourceManager、多个节点管理器NodeManager、应用程序管理器ApplicationMaster和资源容器Container；其特征在于，在所述YARN调度系统的配置选项中增加图像处理器GPU选项以及是否使用图像处理器GPU，并在所述全局资源管理器ResourceManager中增加图像处理器GPU的资源类型、添加图像处理器GPU的权重设置、增加可深度优先搜索GPU通用接口；

对每种应用设计单独的客户端并修改部分应用程序管理器，使更改配置后的YARN调度系统与其他系统软件相结合。

2.根据权利要求1所述的调度系统，其特征在于，所述YARN调度系统具体通过以下步骤进行配置：

在ResourceManager中的ResourceType.java文件里增加GPU的资源类型，使GPU成为调度器的一种资源类型；

在ResourceManager中的ResourceWeight.java文件里增加GPU的权重设置；

在hadoop-yarn-common里的GpuResourceCalculator.java中增加可深度优先搜索GPU的通用接口；

扩展DRF算法，使YARN调度器可以支持GPU的调度；

在NodeManager里的NodeStatusUpdateImpl.java文件里增加当前各个节点GPU总数及可用GPU的状态检测；

在NodeManager里的NodeManager.java文件里增加对当前各个节点正在使用的GPU状态检测；

在yarn-site.xml里增加每个槽的GPU数量，GPU过载数量，单个任务每个节点最大、最小可分配GPU数量，以及是否使用GPU资源。

3.根据权利要求1所述的调度系统，其特征在于，所述对每种应用设计单独的客户端并修改部分ApplicationMaster，使更改配置后的YARN调度系统与其他系统软件相结合步骤，包括：

在客户端，对用户提交应用程序脚本的信息进行识别，并进行相应的初始化；

监控应用程序，Client获取唯一的Application ID，向数据结构ApplicationSubmissionContext中放入启动ApplicationMaster所需的所有信息；

将ApplicationMaster中从YARN调度系统中获取的节点资源转换为相应JSON格式。

4.一种基于YARN调度系统的深度学习框架的调度方法，应用于由全局资源管理器ResourceManager、多个节点管理器NodeManager、应用程序管理器ApplicationMaster和资源容器Container构成的调度系统中；其特征在于，包括以下步骤：

在所述YARN调度系统的配置选项中增加图像处理器GPU选项以及是否使用图像处理器GPU，并在所述全局资源管理器ResourceManager中增加图像处理器GPU的资源类型、添加图像处理器GPU的权重设置、增加可深度优先搜索GPU通用接口；

对每种应用设计单独的客户端并修改部分应用程序管理器，使更改配置后的YARN调度系统与其他系统软件相结合。