[发明专利]一种基于自适应加权Bagging-GBDT的不平衡数据分类方法

权利要求书

1.一种基于自适应加权Bagging-GBDT的不平衡数据分类方法，其特征在于，所述方法步骤包括：

(1)根据k-means算法将多数类样本聚成多个簇，对每个簇样本进行多次分层欠采样；

(2)将每次采样后的多数类样本与全部少数类样本组合得到多个样本子集，根据这些子集训练多个预测精度较高的GBDT子分类模型；

(3)根据测试点邻域样本类别自适应地确定各子模型权重，据此通过加权硬投票方式集成最终的分类模型。

2.根据权利要求1所述的方法，其特征在于，根据k-means算法将多数类样本聚成多个簇，对每个簇样本进行多次分层欠采样，具体说明如下：假定数据集中正负样本的不平衡比率为Ratio，设定聚类中心点个数k为{Ratio,3,5,10}中的某个值，训练集少数类样本总数为num，根据k-means算法将多数类训练样本聚成k簇，对每个簇根据其包含的样本总数进行分层抽样且满足抽样总数等于num，重复不放回抽样T次。

3.根据权利要求1所述的方法，其特征在于，将每次采样后的多数类样本与全部少数类样本组合得到多个样本子集，根据这些子集训练多个预测精度较高的GBDT子分类模型，具体说明为：通过组合采样后的多数类样本与全部少数类训练样本得到T份训练集，假定表示第t份训练子集，其中，t＝1:T，(x_i,y_i)表示该子集中的第i个样本，x_i为样本输入特征，y_i为样本真实类别，y_i∈(0,1)，N为训练集样本总数，初始化对应的子模型h₀(x)，如下所示：

其中，argm_cin表示当h₀(x)为最小时，叶结点输出值c的取值，L(y_i,c)表示样本i对应的损失函数，当迭代次数为m时，对中所有的训练样本(x_i,y_i)计算负梯度r_mi：

其中，m＝1:M，M为总迭代次数，δ表示求偏导，h_m-1(x_i)表示样本i在第m-1次迭代对应子模型上的预测值，根据(x_i,r_mi)拟合第m棵子树，得到该树的叶结点区R_mj，其中，j＝1,2,...,J，j代表第j个叶节点，J为叶节点总数，对j＝1,2,...,J，计算最优拟合值c_mj：

c_mj代表第m棵子树中第j个叶节点输出值，更新子模型h_m(x)：

其中，I为指示函数，若样本属于叶节点R_mj则I取值1，不属于则I为0，重复迭代，直到m＝M，得到最终子模型h_M(x)。

4.根据权利要求1所述的方法，其特征在于，根据测试点邻域样本类别自适应地确定各子模型权重，据此通过加权硬投票方式集成最终的分类模型，具体说明为：当测试样本x_te进入分类模型时，计算欧氏距离dist：

其中，b代表样本特征总数，x_tea与x_tra分别为测试点与训练集内某一样本点在属性a上的取值，统计在训练样本集内最近n个邻居点少数类样本的数目count，计算少数类权重系数w₊＝count×1/n+1，多数类权重系数w_-默认设置为1；分别通过各个子分类模型进行测试得到预测样本类别；根据加权投票法得到最终的分类模型H(x)：

其中，w∈(w₊,w_-)，表示H(x)取最大值时测试样本对应的预测类别，h_t(x)表示第t个子模型，据此得出测试样本的实际预测类别。