[发明专利]模型训练监控方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种模型训练监控方法、装置、设备及存储介质，该方法包括：接收模型训练监控请求，并对模型训练监控请求携带的意图触发话术文本进行解析并生成测试用例；对测试用例进行分词处理得到测试用例字符，根据测试用例字符进行意图识别，得到第一意图；根据基础话术意图集对测试用例进行相关性分析，识别测试用例的第二意图；将第一意图和第二意图进行比较，根据比较的结果生成测试报告。本发明实现了模型训练监控的自动化，且提高了模型训练监控的效率和准确度。此外，本发明还涉及区块链领域，意图触发话术文本和基础话术意图集可存储于区块链中。

技术领域

本发明涉及人工智能领域，尤其涉及一种模型训练监控方法、装置、设备及存储介质。

背景技术

模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。模型具有衰减性，模型运行结果数据的能力会随着输入数据的更新而降低，因此，需要对模型的性能及时进行监控以实现模型的维护和更新。

在现有技术中，通过开源的机器学习平台训练得到机器学习模型，机器学习平台中设置有训练模型的通用算法，因此只需在机器学习平台上输入训练数据即可得到机器学习模型，而模型训练的过程则是在机器学习平台的内部自行执行的。但该方法不能时刻监控机器学习平台训练模型的过程，也不能及时获取模型训练的状态，因此，当发现模型在训练的过程中出现问题时，也不能及时进行矫正，导致模型训练监控的效率低，同时使得训练出的模型不准确。

发明内容

本发明的主要目的在于解决现有技术中模型训练监控的效率低的技术问题。

本发明第一方面提供了一种模型训练监控方法，所述模型训练监控方法包括：获取机器学习模型的训练周期，对所述训练周期进行分析，确定所述机器学习模型的训练总步数，并根据所述机器学习模型的训练总步数，确定固定训练步数；将所述机器学习模型完成每个所述固定训练步数的时间节点作为所述模型的检查点；获取所述机器学习模型在各所述检查点所产生的指标数据；根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果；根据所述异常监控结果生成模型训练监控报告。

可选的，在本发明的第一方面的第一种实现方式中，所述根据预设的各指标的指标监控策略，对所述指标数据中各指标进行异常监控，判断所述指标数据中各指标是否异常，得到异常监控结果包括：根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果；或者，根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果；或者，根据预设的数据指标监控策略，对所述指标数据中的数据指标进行异常监控，判断所述数据指标是否异常，得到异常监控结果，其中，所述数据指标包括偏离值、资源数据量和可用的数据存储空间的数据量。

可选的，在本发明的第一方面的第二种实现方式中，所述根据预设的样本指标监控策略，对所述指标数据中的样本指标进行异常监控，判断所述样本指标是否异常，得到异常监控结果包括：提取所述指标数据中的样本指标及训练样本，并对所述训练样本进行等频分箱处理，得到多个分箱；根据预设的样本指标监控策略和根据所述样本指标计算各所述分箱中样本的模型稳定性分析值；判断所述模型稳定性分析值是否小于预设的模型稳定性阈值；若是，则确定所述样本指标异常，得到所述样本指标对应的异常监控结果。

可选的，在本发明的第一方面的第三种实现方式中，所述根据预设的训练时长指标监控策略，对所述指标数据中的训练时长指标进行异常监控，判断所述训练时长指标是否异常，得到异常监控结果包括：提取所述指标数据中的时长训练指标以及所述机器学习模型完成每个所述固定训练步数时的训练时长；根据预设的训练时长指标监控策略，判断所述训练时长是否大于预设的训练时长阈值；若是，则确定所述训练时长指标异常，得到所述训练时长指标对应的异常监控结果。