[发明专利]一种基于分层技术的分类模型倾向性检验方法及系统

说明书

本发明涉及一种基于分层技术的分类模型倾向性检验方法及系统，其方法包括：步骤S1：获得训练好的分类模型、训练集和测试集；步骤S2：判断训练集中正负样本的比值，如果比值趋于1，执行步骤S3：否则执行步骤S4；步骤S3：从测试集中按预设的正负样本比值β和1/β，分层抽取两组样本集；将两组样本集输入训练好的分类模型，计算分类错误率指标，以判断训练好的分类模型的倾向性；步骤S4：从测试集中按预设的正负样本比值β、1和1/β，分层抽取三组样本集；将三组样本集输入训练好的分类模型，计算分类错误率指标，以判断训练好的分类模型的倾向性。本发明通过设置不相同的采样比例，在测试集上对模型倾向性进行检验，通过分类性能指标对模型倾向性做出评估。

技术领域

本发明涉及区块链和机器学习领域，具体涉及一种基于分层技术的分类模型倾向性检验方法及系统。

背景技术

在通过使用训练数据训练好一个机器学习分类模型后，通常情况下，一个好的分类模型应当能充分学习到训练数据的本质特征表达，同时在迁移到其他待分类的数据上也有很好的性能表现，即具有较好的泛化性。然而，由于模型性能不仅会受到自身算法设计的合理性的影响还会受到训练数据类别比例的影响，呈现出对某些类别数据识别性能好，对通过使用少数样本训练的数据类识别性能差的现象，如何验证模型是否存在对不同类别数据敏感性差异的问题(即倾向性)，对于评估模型泛化性能以及数据集和识别任务调整上具有较大意义。

模型的分类性能评估的方法一般可以通过计算准确率、召回率、绘制混淆矩阵等指标来实现，由于这些指标没有考虑类别占比情况给模型分类性能带来的影响，模型倾向性结论需要挖掘工程师通过对多个指标进行综合分析才能得到，要求的门槛更高，有可能引发反复模型训练、模型预测、模型评估，过程更复杂效率低。然而，好的倾向性评估指标的确立需要花费较大的工作量，不易实现。综上所述，可以通过简单改变测试集类别比例的方式对训练模型进行测试，对比使用不同比例样本得到的对应的测试精度或者错误率是评估模型对不同类别识别敏感程度的一个较实用的方法，若模型的分类精度随着某种类别比例的增加而发生较大变化，则说明模型更倾向于去识别使测试精度提高的那个类别，若分类精度不随着类比占比变化而发生的较大的影响，则说明模型在训练过程中获得了充分的训练，不具有明显倾向性。然而，如何在不需要重新制定评估指标的情况下在资源有限的测试集上根据训练集比例去合理调整自身比例去做分类倾向性测试也是一个难点。

发明内容

为了解决上述技术问题，本发明提供一种基于分层技术的分类模型倾向性检验方法及系统。

本发明技术解决方案为：一种基于分层技术的分类模型倾向性检验方法，包括：

步骤S1：获得训练好的分类模型，以及模型训练使用的训练集和待测的测试集；

步骤S2：判断所述训练集中正负样本的比值，如果所述比值趋于1，则执行步骤S3：否则，执行步骤S4；

步骤S3：从所述测试集中按预设的正负样本比值β和1/β，分层抽取两组样本集；将两组所述样本集输入所述训练好的分类模型，计算分类错误率指标，以判断所述训练好的分类模型的倾向性；

步骤S4：从所述测试集中按预设的正负样本比值β、1和1/β，分层抽取三组样本集；将三组所述样本集输入所述训练好的分类模型，计算分类错误率指标，以判断所述训练好的分类模型的倾向性。

本发明与现有技术相比，具有以下优点：

1、本发明提供的方法在调整测试集类别占比时，结合了分层技术，根据实际需求有效调整了类别占比。本方法为了有效验证模型对不同类别样本数据识别的倾向性，调整了测试集中各类样本所占的比例，其中采用了分层采样技术，按照采样比多次采样，保证数据分布不变的情况下，有效重组了不同类别占比的测试资源。