[发明专利]模型训练监控方法、装置、设备及存储介质

权利要求书

1.一种模型训练监控方法，其特征在于，所述模型训练监控方法包括：

获取机器学习模型的训练周期，对所述训练周期进行分析，确定所述机器学习模型的训练总步数，并根据所述机器学习模型的训练总步数，确定固定训练步数；

将所述机器学习模型完成每个所述固定训练步数的时间节点作为所述模型的检查点；

获取所述机器学习模型在各所述检查点所产生的指标数据；

根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果；

根据所述异常监控结果生成模型训练监控报告。

2.根据权利要求1所述的模型训练监控方法，其特征在于，所述根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果包括：

根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果；

或者，根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果；

或者，根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果，其中，所述数据指标包括偏离值、资源数据量和可用的数据存储空间的数据量。

3.根据权利要求2所述的模型训练监控方法，其特征在于，所述根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果包括：

提取所述指标数据中的样本指标及训练样本，并对所述训练样本进行等频分箱处理，得到多个分箱；

根据预设的样本指标监控策略和根据所述样本指标计算各所述分箱中样本的模型稳定性分析值；

判断所述模型稳定性分析值是否小于预设的模型稳定性阈值；

若是，则确定所述样本指标异常，得到所述样本指标对应的异常监控结果。

4.根据权利要求3所述的模型训练监控方法，其特征在于，所述根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果包括：

提取所述指标数据中的时长训练指标以及所述机器学习模型完成每个所述固定训练步数时的训练时长；

根据预设的训练时长指标监控策略，判断所述训练时长是否大于预设的训练时长阈值；

若是，则确定所述训练时长指标异常，得到所述训练时长指标对应的异常监控结果。

5.根据权利要求2-4中任一项所述的模型训练监控方法，其特征在于，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：

提取所述指标数据中的数据指标以及所述机器学习模型的损失函数的损失值；

计算所述损失值的均值和标准差；

获取所述机器学习模型的当前损失值，将所述机器学习模型的当前损失值与所述均值的差值作为偏离值；

根据预设的数据指标监控策略，判断所述偏离值与所述标准差的倍数是否超过预设倍数；

若是，则确定所述数据指标异常，得到所述数据指标对应的异常监控结果。

6.根据权利要求2-4中任一项所述的模型训练监控方法，其特征在于，所述根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果包括：

提取所述指标数据中的数据指标以及所述机器学习模型在所述检查点中占用的资源数据量；

根据预设的数据指标监控策略，判断所述资源数据量是否大于预设的占用数据量阈值；

若是，则确定所述数据指标异常，得到所述数据指标对应的异常监控结果。