[发明专利]一种用于不平衡数据的分类方法

说明书

一种用于不平衡数据的分类方法，初始化数据集中所有样本的权重；根据迭代次数对应的权重构建弱分类器，并基于弱分类器更新数据集中所有样本的权重，再基于KNN再次更新所有样本的权重；组合得到的弱分类器，获得强分类器。本发明引入了相似度理论，与欧几里得距离作为综合相似度来作为KNN的选取指标。此外，在KNN选取数据集中正样本的基础上，再次动态选取K值，进而有方向地更新数据集中的样本权重，使得最大程度地降低综合相似度较高且被正确分类的正样本的权重，最少地降低综合相似度较低且被正确分类的正样本的权重。

技术领域

本发明涉及分类算法领域，具体为一种用于不平衡数据的分类方法。

背景技术

类别数据不均衡是分类任务中一个典型存在的问题。简而言之，即数据集中，每个类别下的样本数目相差很大。现实中有很多类别不均衡问题，它是常见的，并且也是合理的，符合人们期望的。一般而言，如果类别不平衡比例超过4:1，那么其分类器会大大地因为数据不平衡性而无法满足分类要求的。因此在构建分类模型之前，需要对分类不均衡性问题进行处理。

目前为止，解决不平衡分类问题的策略可以分为两大类，一类是平衡训练集，主要通过改变训练集样本分布来降低不平衡程度，其方法包括训练集重采样和训练集划分。另一类是改进学习算法，根据算法在解决不平衡问题时的缺陷，适当地修改算法使之适应不平衡分类问题，其改进策略包括分类器集成、代价敏感学习和特征选择方法等。

虽然K-Adaboost作为一种新的改进算法首次将KNN与Adaboost算法相结合，可以较好地解决数据的不平衡问题，但是在实际问题中，数据的表现形式更为多样且特征更为复杂，而该算法并没有考虑到数据特征的相关性和权重更新的合理性，从而影响分类效果。

发明内容

针对现有技术中存在的难题，本发明的目的在于提供了一种用于不平衡数据的分类方法，该方法在K-Adaboost算法基础上，引入了相似度理论，与欧几里得距离作为综合相似度来作为KNN的选取指标，同时，在KNN的基础上导向性地更新不平衡数据集中的样本权重，其权重更新更加合理。与K-Adaboost算法分类效果相比，改进的K-Adaboost算法不仅误差更小，且能在较少的迭代次数下达到较好分类的结果。

为实现上述目的，本发明采用以下技术方案：

一种用于不平衡数据的分类方法，包括如下步骤：

步骤1：对于数据集S＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}，每一个样本x_i＝(x_i1,…x_im,…,x_iM)∈R^M，样本标签y_i∈Y＝{-1,+1}，其中i＝1,2,…,N,m＝1,2,…,M；初始化数据集中所有样本的权重W₁，

步骤2：对迭代次数t＝1,2,…,T，根据迭代次数对应的权重构建弱分类器，并基于弱分类器更新数据集中所有样本的权重，再基于KNN再次更新所有样本的权重；

步骤3：组合步骤2)中得到的弱分类器，获得强分类器。

本发明进一步的改进在于，步骤2)中，基于弱分类器更新数据集中所有样本的权重的具体过程如下：

1)对迭代次数t；根据权重W_t构建弱分类器G_t(x)；

G_t(x)＝{-1,+1}

2)计算分类误差e_t；

其中P为加权概率，函数