[发明专利]一种基于AdaBoost的支持向量机集成学习方法

说明书

本发明涉及一种基于AdaBoost的支持向量机集成学习方法。针对现有支持向量机学习方法在处理类不平衡分类问题时存在精度偏低的不足，提供了一种基于AdaBoost的支持向量机集成学习方法，使用加权支持向量机(W‑SVM)构建弱分类器，并基于AdaBoost算法框架将弱分类器集成为强分类器。该方法能够深入挖掘样本分布信息，进而显著提升预测精度，是处理类不平衡问题的有效工具。

技术领域

本发明属于数据挖掘与机器学习领域，涉及数据挖掘和数据处理方法，具体地说，涉及一种基于AdaBoost的支持向量机集成学习方法。

背景技术

支持向量机是在结构风险最小化原则基础上建立的典型核学习模型，是最为常用的一种监督学习算法，其基本思想是通过非线性映射把训练数据映射到一个高维Hilbert特征空间中。随后，在Hilbert空间构建最大间隔分类超平面并执行线性分类。然而，训练单个支持向量机得到的分类器，在处理复杂问题时往往存在预测精度偏低等诸多不足之处。为了提高实际应用效果，在集成学习的基本框架下我们提出了基于AdaBoost的支持向量机集成学习方法，以深入挖掘样本的分布信息，提升模型预测精度。本发明支持向量机集成算法能够处理数据类不平衡下的分类问题，与经典SVM、加权SVM(W-SVM)相比，可以及时根据分类器的性能动态调整样本权重分布，进而提高预测精度。

发明内容

本发明的目的在于针对现有支持向量机学习方法在处理类不平衡分类问题时存在精度偏低的不足，提供了一种基于AdaBoost的支持向量机集成学习方法，使用W-SVM构建弱分类器，并基于AdaBoost算法框架将弱分类器集成为强分类器。该方法能够深入挖掘样本分布信息，进而显著提升预测精度。

根据本发明一实施例，提供了一种基于AdaBoost的支持向量机集成学习方法，含有以下步骤：

(一)初始化样本权重，选择W-SVM构建弱分类器，对类不平衡问题进行分类；

(二)采用AdaBoost算法动态调整学习样本的权重，并根据弱分类器f_k(x)的精度确定弱分类器的权重α_k；

(三)通过交叉验证法确定弱分类器数量T，将多个弱分类器集成为强分类器

在根据本发明实施例的学习方法，在步骤(一)中，初始化样本权重，选择W-SVM构建弱分类器，对类不平衡问题执行二分类任务。具体步骤为：初始化样本权重在训练样本集合上选择高斯核作为模型核函数，即k(x_i,x_j)＝exp(-‖x_i-x_j‖²/d)，训练W-SVM 模型得到决策函数：利用决策函数预测测试样本x的标签：

y＝sign(f_k(x)) (1)

在根据本发明实施例的学习方法，在步骤(二)中，采用AdaBoost算法动态调整学习样本的权重w_k,i，并根据分类精度确定弱分类器的权重α_k。具体步骤为：计算第k个弱分类器f_k( x)在训练集上的加权误差率为

即f_k(x)在训练数据集上的误差率e_k就是被f_k(x)误分样本的加权求和。

计算该弱分类器f_k(x)在集成分类器中的权重：

更新训练样本权重，学习第k+1个弱分类器时的样本权重系数为：

其中，为归一化因子。