[发明专利]一种面向不平衡数据集的分类方法

摘要

一种面向不平衡数据集的分类方法，涉及类别失衡。针对数据源中存在类别不平衡的问题，大部分方法对多数类样本进行下采样，造成大量有用信息的损失，提供基于集成学习与逻辑回归充分合理地使用多数类样本，从而进一步提升分类效果的一种面向不平衡数据集的分类方法。包括数据准备和模型训练。每个弱学习器使用完全不同的多数类样本进行学习，相比传统的欠采样方法能让多数类样本信息能够被充分的利用；每个弱学习器使用不同的多数类样本、特征集合、训练参数势必会提高它们的多样性，从而提升集成效果；利用逻辑回归自适应的结合各个弱学习器的输出，相比传统的简单平均输出更加合理且抗干扰。

主权项

1.一种面向不平衡数据集的分类方法，其特征在于包括以下步骤：1)数据准备，具体方法如下：在数据准备阶段主要完成相关数据的准备；根据模型所使用的弱学习器数量准备相应数量的多数类样本子集，训练超参数组合和特征集合；对于每个弱学习器，先对多数类样本随机不放回采样，并将采得的多数类样本与完整少数类样本组合作为所述弱学习器的训练样本；再增大各个弱学习器间的多样性，为各个弱学习器准备不同的特征集合和不同的训练超参数；所述弱学习器包括决策树；2)模型训练，具体方法如下：使用数据准备阶段准备的多个多数类样本子集、超参数组合、特征集合分别训练每一个弱学习器；由于加入样本、特征、参数扰动，使得弱学习器间差异性较大，使用简单平均法结合所述弱学习器的输出则不能发挥最佳性能，因此采用一个逻辑回归模型，利用逻辑回归模型来自适应地结合多个弱学习器，具体做法是将弱学习器的输出值作为逻辑回归模型的训练输入，逻辑回归模型综合各个弱学习器的输出值修正给出最终的预测结果；将弱学习器的预测结果作为对样本抽取的高级特征，增加弱学习器的多样性是为了抽取不同方面的特征，在逻辑回归中使用所述高级特征使得学习更加全面；基于这样的方式训练得到的多个弱学习器和逻辑回归模型用于预测未知样本。