[发明专利]模型监控方法、装置、计算机设备和存储介质

权利要求书

1.一种模型监控方法，所述方法包括：

接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；

根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；

将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；

比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；

根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。

2.根据权利要求1所述的方法，其特征在于，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：

比对所述模型运行结果和所述样本标签，得到所述待监控模型的混淆矩阵，所述混淆矩阵用于比较所述模型运行结果和所述样本标签的真实信息；

根据所述混淆矩阵生成与所述模型监控指标对应的指标监控值。

3.根据权利要求1所述的方法，其特征在于，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：

当所述模型类型为评分模型时，统计所述模型运行结果中与所述模型监控指标对应的模型指标参数，并统计所述样本标签与所述模型监控指标对应的样本指标参数；

根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值，包括：

采用正态分布检验或者基尼系数，根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述指标监控值和预警阈值生成模型警示信息，包括：

获取待监控模型的准确率和所述模型监控指标的预警阈值；

根据所述准确率的精确度和所述预警阈值的精度调整所述预警阈值；

根据调整后的预警阈值和所述指标监控值进行比对，生成模型警示信息。

6.根据权利要求1所述的方法，其特征在于，所述接收监控终端发送的待监控模型的模型标识和模型监控指标，包括：

接收监控终端发送的监控用户的用户标识；

根据所述用户标识获取预设模型监控指标生成指标选择项，并获取预设模型标识生成类型选择项；

将所述指标选择项和所述类型选择项发送给所述监控终端，并接收所述监控终端反馈的指标选中项和类型选中项；

根据所述指标选中项和所述类型选中项获取所述待监控模型的模型标识和模型监控指标。

7.一种模型监控装置，其特征在于，所述装置包括：

监控请求接收模块，用于接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；

样本集获取模块，用于根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；

模型运行模块，用于将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；

监控值比对生成模块，用于比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；

警示模块，用于根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。

8.根据权利要求7所述的装置，其特征在于，所述监控值比对生成模块，包括：

比对单元，用于比对所述模型运行结果和所述样本标签，得到所述待监控模型的混淆矩阵，所述混淆矩阵用于比较所述模型运行结果和所述样本标签的真实信息；

监控值生成单元，用于根据所述混淆矩阵生成与所述模型监控指标对应的指标监控值。