[发明专利]评估模型性能的系统及方法

说明书

本申请公开一种评估模型性能的系统及方法。涉及计算机信息处理技术领域，所述系统包括：模型管理模块，用于根据预定的模型注册协议对所述模型进行注册，并提供统一的模型调用接口；数据管理模块，用于储存模型数据，所述模型数据包括训练数据与测试数据；以及性能评估模块，用于通过所述模型调用接口获取所述模型，并通过所述模型数据对所述模型进行性能评估。本申请公开的评估模型性能的系统及方法，能够自动化对模型进行评估，减少人力投入，降低人力成本。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种评估模型性能的系统及方法。

背景技术

机器学习是人工智能的核心，一般情况下，机器学习通过机器内部对不同问题建立的不同数学模型实现其预测功能。机器学习的一般流程如下：设计模型、训练模型、验证模型、评估模型、更新模型/上线模型。模型性能评估是其中重要的一环，它指示训练的模型的成功程度。如何实现模型性能评估可持续化，及时调整模型对应参数及算法是一项重要的任务。

现有模型性能评估测试的步骤如下：1、人工制定模型，选择数据集；2、将数据集划分为两部分：训练集与验证集；3、使用训练集对模型进行训练；4、训练完成后，使用验证集对模型进行验证；5、对模型在测试集上的性能进行评估。

现有技术的缺点如下：1、模型训练和验证由同一组人执行，存在性能数据造假的可能，数据可信度低；2、全程需人工参与，手动运行模型，当模型数量较多时，评估工作量巨大；3、评估开始后，无法预测评估完成时间，需人工检测是否完成，存在延时可能性，不能及时获取评估结果；4、当数据集或者算法更新时，需人工重新评估模型，不能主动重新评估，无法持续追踪模型性能变化，监控变化趋势，进行异常预警。

因此，需要一种新的评估模型性能的系统及方法。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种评估模型性能的系统及方法，能够自动化对模型进行评估，减少人力投入，降低人力成本。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种评估模型性能的系统，该系统包括：模型管理模块，用于根据预定的模型注册协议对所述模型进行注册，并提供统一的模型调用接口；数据管理模块，用于储存模型数据，所述模型数据包括训练数据与测试数据；以及性能评估模块，用于通过所述模型调用接口获取所述模型，并通过所述模型数据对所述模型进行性能评估。

在本公开的一种示例性实施例中，还包括：规则设置模块，用于储存模型处理规则与告警规则，其中所述模型处理规则包括预定时间处理规则。

在本公开的一种示例性实施例中，还包括：推送任务模块，用于执行推送任务，所述推送任务包括告警推送任务，评估报告任务。

在本公开的一种示例性实施例中，还包括：评估任务模块，用于通过所述规则设置模块的规则对所述模型的性能评估的结果进行分析处理，并在所述模型的评估结果满足告警条件时，调用所述推送任务模型进行告警信息推送。

在本公开的一种示例性实施例中，所述模型管理模块包括：模型发布子模块，用于记录所述模型的历史信息与发布信息，在满足预定条件时创建模型评估任务；以及模型接口子模块，用于根据已储存的模型的相关信息，提供已储存的所述模型的模型调用接口。

在本公开的一种示例性实施例中，所述性能评估模块包括：评估算法子模块，用于提供模型的评估算法；以及模型评估子模块，用于通过所述模型的评估算法对所述模型进行评估分析。

在本公开的一种示例性实施例中，所述训练数据与所述测试数据为1:1关系，且来自同一批数据集。