[发明专利]评估模型性能的系统及方法

权利要求书

1.一种评估模型性能的系统，其特征在于，包括：

模型管理模块，用于根据预定的模型注册协议对所述模型进行注册，并提供统一的模型调用接口；

数据管理模块，用于储存模型数据，所述模型数据包括训练数据与测试数据；

规则设置模块，用于储存模型处理规则与告警规则，其中所述模型处理规则包括预定时间处理规则；以及

性能评估模块，用于通过所述模型调用接口获取所述模型，并通过所述模型数据对所述模型进行性能评估。

2.如权利要求1所述的系统，其特征在于，还包括：

推送任务模块，用于执行推送任务，所述推送任务包括告警推送任务，评估报告任务。

3.如权利要求2所述的系统，其特征在于，还包括：

评估任务模块，用于通过所述规则设置模块的规则对所述模型的性能评估的结果进行分析处理，并在所述模型的评估结果满足告警条件时，调用所述推送任务模型进行告警信息推送。

4.如权利要求1所述的系统，其特征在于，所述模型管理模块包括：

模型发布子模块，用于记录所述模型的历史信息与发布信息，在满足预定条件时创建模型评估任务；以及

模型接口子模块，用于根据已储存的模型的相关信息，提供已储存的所述模型的模型调用接口。

5.如权利要求1所述的系统，其特征在于，所述性能评估模块包括：

评估算法子模块，用于提供模型的评估算法；以及

模型评估子模块，用于通过所述模型的评估算法对所述模型进行评估分析。

6.如权利要求1所述的系统，其特征在于，所述训练数据与所述测试数据为1:1关系，且来自同一批数据集。

7.一种评估模型性能的方法，其特征在于，包括：

获取待评估的模型；

模型评估系统通过预定的评估算法对所述模型自动进行性能评估；以及

根据所述模型的性能评估结果进行后续处理。

8.如权利要求7所述的方法，其特征在于，还包括：

检测预定参数，在预定参数状态更新时，自动对所述模型进行性能评估，所述预定参数包括模型变更参数与算法变更参数。

9.如权利要求7所述的方法，其特征在于，所述模型评估系统通过预定的评估算法对所述模型自动进行性能评估，包括：

模型评估系统通过准确率算法对所述模型自动进行性能评估。

10.如权利要求7所述的方法，其特征在于，所述根据所述模型的性能评估结果进行后续处理，包括：

根据所述性能评估结果判断是否满足告警条件；

在满足所述告警条件时，推送告警消息至用户。

11.如权利要求10所述的方法，其特征在于，所述根据所述模型的性能评估结果进行后续处理，还包括：

通过评估结果生成评估报告；

推送所述评估报告至用户。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求7-11中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求7-11中任一所述的方法。