[发明专利]一种评估分类模型的方法和装置

说明书

本发明公开了一种评估分类模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取多个分类模型对输入数据集分类得到的多个第一类别数据集，每个第一类别数据集对应一分类模型；根据预选的参考数据集确定各第一类别数据集中的假正例数据集；根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型。该实施方式能够彻底摆脱对人工标注的依赖，操作流程可以完全自动化运行，降低评估成本，加快评估速度，扩展评估范围，提高评估可靠性，提升模型开发效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种评估分类模型的方法和装置。

背景技术

分类在工业中有广泛的应用，在分类模型的开发过程中，评估模型效果是至关重要的一环，直接决定了一个模型最终是否可以上线。目前，业界主要采用在测试集上计算混淆矩阵的方法来评估模型效果。使用分类模型对该测试集中的样本进行预测后，每个样本都会有两个标注，一个是模型的预测标注，另一个是样本的真值标注，由此构建混淆矩阵，混淆矩阵中的每一行表示一种模型预测结果，每一列表示一种真值结果，而混淆矩阵中每个单元的内容就是符合相应条件的样本个数。利用混淆矩阵就可以计算出识别精度、敏感度、特异性等指标来客观评估一个分类模型的识别效果。

这种评估方法必须有大量优质的人工标注样本。以一个成熟的电商企业为例，每天会产生上亿笔交易订单，要获得同等规模的人工标注样本集，成本极大。同时，线上环境变化多端，若测试样本集与上线日期相隔久远，那么模型在该测试集上的表现就不足以作为指导其未来上线后实际运行效果的标准。即使在模型离线训练完成后，重新从线上拉取最新的数据作为测试集，仍需要人工标注，人力和时间开销都很大，无法做到即时评估、快速上线，降低了系统的迭代速度，并且难以观察在一个较长的时间范围内模型效果随时间的变化情况。此外，人工标注可靠性不足，无法反映出模型的真实分类效果。传统的模型评估方法以准确率为核心，完全依赖人工标注，成本高且可靠性低，严重制约着机器学习模型从实验走向实际生产。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

人工标注成本高、耗时长，无法对模型效果做出即时评估，降低了模型迭代速度；

人工标注依赖于人的主观经验，标注的样本可靠性不足，无法真实反映模型效果。

发明内容

有鉴于此，本发明实施例提供一种评估分类模型的方法和装置，能够彻底摆脱对人工标注的依赖，操作流程可以完全自动化运行，降低评估成本，加快评估速度，扩展评估范围，提高评估可靠性，提升模型开发效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种评估分类模型的方法。

一种评估分类模型的方法，包括：获取多个分类模型对输入数据集分类得到的多个第一类别数据集，每个第一类别数据集对应一分类模型；根据预选的参考数据集确定各第一类别数据集中的假正例数据集；根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型。

可选地，所述参考数据集包括预设数量的第二类别数据集，根据预选的参考数据集确定各第一类别数据集中的假正例数据集的步骤，包括：根据所述预设数量的第二类别数据集与所述各第一类别数据集的交集确定所述各第一类别数据集中的假正例数据集。

可选地，根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型的步骤，包括：根据每个第一类别数据集和所述第一类别数据集中的假正例数据集计算所述第一类别数据集对应的分类模型的误分类率；根据各分类模型的误分类率评估所述各分类模型。