[发明专利]一种监控模型训练的方法及装置

权利要求书

1.一种监控模型训练的方法，其特征在于，所述方法包括：

接收机器学习平台中的至少一个节点分别上报的监控信息，所述监控信息为所述至少一个节点通过执行一个或多个模型训练任务生成的；

根据所述至少一个节点分别对应的监控信息，确定所述一个或多个模型训练任务的监控指标以及所述监控指标对应的信息；所述监控指标表征所述一个或多个模型训练任务的执行信息；

若确定所述监控指标对应的信息触发所述监控指标对应的告警规则，则执行告警。

2.根据权利要求1所述的方法，其特征在于，所述监控指标包括以下任意一项或任意多项：

所述一个或多个模型训练任务的执行结果、执行所述一个或多个模型训练任务所消耗的计算资源、执行所述一个或多个模型训练任务的数据存储情况。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述至少一个节点中处于运行状态的目标节点；

向所述目标节点发送状态请求消息，并接收所述目标节点根据所述状态请求消息发送的所述目标节点的执行状态；

若确定所述目标节点的执行状态触发所述目标节点对应的告警规则，则执行告警。

4.根据权利要求3所述的方法，其特征在于，所述确定所述目标节点的执行状态触发所述目标节点对应的告警规则，包括：

所述目标节点为模型训练启动节点，若所述目标节点在第一预设时间段内重启所述模型训练任务的次数大于预设次数，则确定所述目标节点的执行状态触发所述目标节点对应的告警规则；或者，

所述目标节点为模型训练任务管理节点，若所述目标节点无法执行所述模型训练任务的时长大于预设时长，则确定所述目标节点的执行状态触发所述目标节点对应的告警规则；或者，

所述目标节点为模型训练资源管理节点，若所述目标节点占用的资源数据量大于第一预设数据量，则确定所述目标节点的执行状态触发所述目标节点对应的告警规则；或者，

所述目标节点为模型训练数据节点，若所述目标节点可用的数据存储空间的数据量小于第二预设数据量，则确定所述目标节点的执行状态触发所述目标节点对应的告警规则。

5.一种监控模型训练的装置，其特征在于，所述装置包括：

收发模块，用于接收机器学习平台中的至少一个节点分别上报的监控信息，所述监控信息为所述至少一个节点通过执行一个或多个模型训练任务生成的；

处理模块，用于根据所述至少一个节点分别对应的监控信息，确定所述一个或多个模型训练任务的监控指标以及所述监控指标对应的信息；所述监控指标表征所述一个或多个模型训练任务的执行信息；

告警模块，用于若确定所述监控指标对应的信息触发所述监控指标对应的告警规则，则执行告警。

6.根据权利要求5所述的装置，其特征在于，所述监控指标包括以下任意一项或任意多项：

所述一个或多个模型训练任务的执行结果、执行所述一个或多个模型训练任务所消耗的计算资源、执行所述一个或多个模型训练任务的数据存储情况。

7.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：

确定所述至少一个节点中处于运行状态的目标节点；

向所述目标节点发送状态请求消息，并接收所述目标节点根据所述状态请求消息发送的所述目标节点的执行状态；

所述告警模块还用于：若确定所述目标节点的执行状态触发所述目标节点对应的告警规则，则执行告警。