[发明专利]基于联邦决策树模型训练的分布式调度方法、系统及介质

权利要求书

1.一种基于联邦决策树模型训练的分布式调度方法，其特征在于，所述分布式调度方法，包括：

提供一个主控节点和若干个计算节点，所述主控节点包括全局调度器，所述计算节点包括本地调度器；

所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点；

所述本地调度器接收所述全局调度器所分配的计算任务；

当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；

当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，所述全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。

2.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行，包括：

当某一计算节点的计算资源不足以执行所分配的计算任务时，该计算节点将计算资源不足的信息发送至所述全局调度器，并转发给其余计算节点；

其余计算节点接收到某一计算节点的计算资源不足的信息时，若可用资源充足，则将计算资源充足的信息发送至所述全局调度器，并转发至计算资源不足的计算节点；

计算资源不足的计算节点接收到其余计算节点发出的计算资源充足的信息时，将部分计算任务提交给计算资源充足的计算节点进行执行。

3.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，所述计算资源包括中央处理器资源、内存资源以及图形处理器资源中的一种或者多种。

4.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点，包括：

提供集群可用资源表，所述集群可用资源表包括可用的计算节点信息；

在接收到资源申请请求时，所述全局调度器从所述集群可用资源表中选取若干个计算节点用于执行计算任务，其中，所选取的计算节点的空余的计算资源大于未选取的计算节点的空余的计算资源。

5.如权利要求4所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，在任务执行的过程中，还包括新增计算节点的步骤：

计算某一时间段内所选择的计算节点的计算资源的使用情况；

若所选择的计算节点的计算资源的使用情况超过预设临界值，所述全局调度器从所述集群可用资源表中选择可用的计算节点加入到所选择的计算节点。

6.如权利要求4所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，在任务执行的过程中，还包括新增计算节点的步骤：

根据当前等待任务的调用需求计算所需的计算节点数量；

若算出的计算节点数量大于所选择的计算节点数量，所述全局调度器从所述集群可用资源表中选择可用的计算节点加入到所选择的计算节点。

7.如权利要求4所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，在任务执行的过程中，还包括删除计算节点的步骤：

监控所选择的计算节点的状态；

若任一计算节点处于空闲状态的时间超过预设空闲时间，将相应计算节点从所选择的计算节点中移除，以重新进入所述集群可用资源表。

8.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，所述计算节点执行任务的过程包括以下步骤：

根据任务执行依赖图将任务分成有任务依赖的任务和无任务依赖的任务；

并行执行无任务依赖的任务；

串行执行有任务依赖的任务。