[发明专利]一种基于自适应加权Bagging-GBDT的不平衡数据分类方法

说明书

本发明实施例提出了一种基于自适应加权Bagging‑GBDT的不平衡数据分类方法，包括：根据k‑means算法将多数类样本聚成多个簇，对每个簇样本进行多次分层欠采样；将每次采样后的多数类样本与全部少数类样本组合得到多个样本子集，根据这些子集训练多个预测精度较高的GBDT子分类模型；根据测试点邻域样本类别自适应地确定各子模型权重，据此通过加权硬投票方式集成最终的分类模型。本发明实施例提供的技术方案，可以有效解决正负样本不平衡的分类问题，能针对每一个数据样本实现分类模型的自适应加权集成，提高分类模型的综合指标。

【技术领域】

本发明涉及机器学习领域分类方法，尤其涉及一种基于自适应加权Bagging-GBDT的不平衡数据分类方法。

【背景技术】

在利用机器学习方法解决分类问题时，存在正负样本数目不平衡的现象。根据合适的分类算法解决数据不平衡分类问题，以提高模型对正负样本整体的识别率，是当今研究的热点之一。解决目前对于不平衡数据的分类问题，常用技术主要分为数据层面和算法层面。数据层面主要包括重采样，重采样是一种数据预处理方法，而不是分类方法。重采样技术分为对数目较少类别的过抽样与对数目较多类别的欠抽样。过抽样中经典的方法是SMOTE算法，该算法从每个少数类样本的最近邻中随机挑选一个样本，然后在这两个样本之间的连线上随机选择一点作为新合成的少数类样本。过抽样具有的缺点是增加少数样本，可能会造成过拟合，而且样本的增加也会影响计算效率。欠抽样中主要有随机欠采样，该算法可以减少运行时间，尤其当训练数据数目很大时，可以通过减少多数类样本数量来提高模型效率。但是随机欠采样具有一定的盲目性，会导致部分多数类样本信息的丢失。算法层面主要包括代价敏感学习，该方法为少数类样本分配的错误分类代价成本高于多数类样本，优化目标是使分类器的分类结果对应总代价成本最低，如何确定合适的代价成本是这类方法需要考虑的问题，同时也是难以解决的问题。将采样技术与集成学习方法相结合也是处理不平衡数据集分类问题的有效手段，这样不仅能够充分利用采样技术平衡数据集，还可以通过集成学习得到强分类器以提高学习准确率。主要分为基于Bagging和基于Boosting的方法，前者继承bagging思想的优点，即减少了方差，但是缺点在于降低偏差方面的效果不如基于Boosting的方法，有效地组合两种方法可以提高对不平衡数据的分类效果。

【发明内容】

有鉴于此，本发明实施例提出了一种基于自适应加权Bagging-GBDT的不平衡数据分类方法，以提高分类模型对正负样本整体的识别率。

本发明实施例提出的一种基于自适应加权Bagging-GBDT的不平衡数据分类方法，包括：

根据k-means算法将多数类样本聚成多个簇，对每个簇样本进行多次分层欠采样；

将每次采样后的多数类样本与全部少数类样本组合得到多个样本子集，根据这些子集训练多个预测精度较高的GBDT子分类模型；

根据测试点邻域样本类别自适应地确定各子模型权重，据此通过加权硬投票方式集成最终的分类模型。

上述方法中，根据k-means聚类算法对多数类样本进行多次分层欠采样，解决随机欠采样方法易丢弃潜在有用样本的问题的方法为：假定数据集中正负样本的不平衡比率为Ratio，设定聚类中心点个数k为{Ratio,3,5,10}中的某个值，训练集少数类样本总数为num，根据k-means算法将多数类训练样本聚成k簇，对每个簇根据其包含的样本总数进行分层抽样且满足抽样总数等于num，重复不放回抽样T次；