[发明专利]模型训练的方法、装置及计算机可读存储介质

权利要求书

1.一种模型训练的方法，其特征在于，所述方法包括：

管理节点调度第一模型训练任务，所述第一模型训练任务包括第一智能模型和第一参数调整作业的作业标识，所述第一智能模型是基于第一参数值集合对所述第一参数调整作业对应的算法进行配置得到的，所述第一参数值集合包括所述第一参数调整作业对应的至少一个超级参数中的每个超级参数的第一参数值；

所述管理节点根据所述作业标识从节点集群中确定第一计算节点，所述第一计算节点具有第一训练数据和空闲的第一资源中的至少一个，所述第一资源是用于处理所述第一参数调整作业的模型训练任务所需的资源，所述第一训练数据是用于训练所述第一参数调整作业对应的智能模型所需的训练数据；

所述管理节点向所述第一计算节点发送第一训练请求，所述第一训练请求包括所述第一模型训练任务，所述第一训练请求用于所述第一计算节点根据所述第一资源和所述第一训练数据中的至少一个，训练所述第一智能模型。

2.如权利要求1所述的方法，其特征在于，所述管理节点根据所述作业标识从节点集群中确定第一计算节点，包括：

所述管理节点根据资源对应关系、数据对应关系和所述作业标识，从所述节点集群中确定第一计算节点；

其中，所述资源对应关系中的任一条记录包括参数调整作业的作业标识、所述节点集群中的计算节点的节点标识、资源标识和资源状态，所述资源标识用于标识所述计算节点包括的用于处理所述参数调整作业的模型训练任务所需要的资源，所述资源状态用于描述所述资源当前是否空闲；

所述数据对应关系中的任一条记录包括参数调整作业的作业标识、所述节点集群中的计算节点的节点标识和数据标识，所述数据标识用于标识所述计算节点包括的用于训练所述参数调整作业对应的智能模型所需要的训练数据。

3.如权利要求2所述的方法，其特征在于，所述管理节点根据资源对应关系、数据对应关系和所述作业标识，从所述节点集群中确定第一计算节点，包括：

所述管理节点根据所述资源对应关系、所述数据对应关系和所述作业标识，确定所述节点集群中包括所述第一训练数据和/或第一资源的N个计算节点，N为大于0的整数；

所述管理节点在所述N个计算节点中存在至少一个目标节点时，从所述至少一个目标节点中选择一个目标节点作为第一计算节点；

其中，所述目标节点包括空闲的所述第一资源，或者，所述目标节点包括所述第一训练数据和空闲的所述第一资源，或者，所述目标节点包括所述第一训练数据且所述目标节点包括的未被保护资源大小超过处理所述第一模型训练任务所需要的资源大小，未被保护资源是所述目标节点中除保护资源之外的其他资源，所述保护资源是已分配给参数调整作业的资源且所述保护资源对应的保护时间段还未结束。

4.如权利要求1或3所述的方法，其特征在于，所述管理节点根据所述作业标识从节点集群中确定第一计算节点，包括：

所述管理节点根据所述作业标识确定至少一个目标节点，根据所述至少一个目标节点中的每个目标节点的负载信息和/或节点属性信息，从所述每个目标节点中选择一个目标节点作为第一计算节点；

其中，所述目标节点包括空闲的所述第一资源，或者，所述目标节点包括所述第一训练数据和空闲的所述第一资源，或者，所述目标节点包括所述第一训练数据且所述目标节点包括的未被保护资源大小超过处理所述第一模型训练任务所需要的资源大小，未被保护资源是所述目标节点中除保护资源之外的其他资源，所述保护资源是已分配给参数调整作业的资源且所述保护资源对应的保护时间段还未结束。