[发明专利]机器学习模型优化效果评估方法、装置、终端及存储介质

说明书

本发明涉及人工智能技术领域，提供一种机器学习模型优化效果评估方法、装置、终端及存储介质，包括：将历史样本数据集切分为多个测试样本数据集；使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；基于所述多个评估分值构建评估矩阵；根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。本发明能够结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

技术领域

本发明涉及人工智能技术领域，具体涉及一种机器学习模型优化效果评估方法、装置、终端及存储介质。

背景技术

随着机器学习的快速发展，有越来越多的业务场景利用机器学习模型进行预测。例如，保险业务场景中利用机器学习模型预测用户的留存率等。

现有技术中，会对机器学习模型进行多次迭代优化并选取最新一次的优化模型来进行预测。然而，发明人在实现本发明的过程中发现，最新一次的优化模型的预测准确率并一定高于历史的优化模型的预测准确率，且机器学习模型虽能够对某一样本进行预测，但可能需要很长的时间才能确定机器学习模型对该样本的预测结果是否准确。

因此，有必要提供一种对多次迭代优化的机器学习模型进行评估的技术方案。

发明内容

鉴于以上内容，有必要提出一种机器学习模型优化效果评估方法、装置、终端及存储介质，首次结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

本发明的第一方面提供一种机器学习模型优化效果评估方法，所述方法包括：

将历史样本数据集切分为多个测试样本数据集；

使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；

基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；

基于所述多个评估分值构建评估矩阵；

根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。

优选的，所述将历史样本数据集切分为多个测试样本数据集包括：

获取每个机器学习模型的上线时间；

对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；

根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。

优选的，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：

获取每个机器学习模型对应的多个预测值中的多个第一预测值；

获取所述多个第一预测值对应的多个实际值；

根据所述多个预测值及所述多个实际值计算得到业务指标；

根据所述多个预测值计算性能指标；

输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。

优选的，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)，其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。

优选的，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：

针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；

确定所有其他机器学习模型的评估分值的最大评估分值；