[发明专利]一种基于随机扰动的支持向量机奇异问题处理方法

说明书

本发明公开了一种基于随机扰动的支持向量机奇异问题处理方法，步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理。步骤2：选择核函数，计算内核矩阵K；步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合设置迭代次数计数变量l＝0；步骤4：判断ε是否为空集，若不是空集，直接进入下一步；若是空集，初始化ε,计算正则化参数λ和变量μ；步骤5：构造随机扰动影响下的KKT方程组，并求解该方程组，更新λ,μ,α和步骤6：令l＝l+1，返回步骤4，直到λ＜0.01或集合变为空集终止，输出完整的正则化路径。本发明实现简单，计算复杂度低。

技术领域

本发明属于机器学习领域，涉及支持向量机正则化路径方法中奇异问题的处理，具体地说是一种基于随机扰动的支持向量机正则化路径奇异问题处理方法。

背景技术

近年来，支持向量机(support vector machine,SVM)在其理论研究和算法实现方面都取得了突破性进展，而正则化路径(regularization path)方法是数值求解SVM分类问题的有效方法之一，该方法在文献Hastie T,Rosset S,Tibshirani R,et al.The EntireRegularization Path for the Support Vector Machine.[J].Machine,”J.MachineLearning Research,2004,5(4):1391-1415中首次提出(SVMpath方法)，它可在相当于一次SVM求解的时间复杂度内，得到所有的正则化参数及对应SVM的解。奇异问题一直是正则化路径方法面临的主要问题之一，奇异问题是指在训练样本中存在重复、近似或线性相关的数据点(即奇点)，使得迭代方程组的系数矩阵不可逆，从而导致方法失效。

现阶段，国内外针对正则化路径奇异问题提出了很多有效方法。例如在文献：DaiJ,Chang C,Mai F,et al.On the SVMpath Singularity.[J].IEEE Transactions onNeural Networks&Learning Systems,2013,24(11):1736中，提出了一种扰动方法，通过修改每一个数据点来避免奇点，然而该方法只能实现近似解；在文献：Sentelle C G,Anagnostopoulos G C,Georgiopoulos M.A Simple Method for Solving the SVMRegularization Path for Semidefinite Kernels[J].IEEE Transactions on NeuralNetworks&Learning Systems,2016,27(4):709中，提出了一种SSVMP方法，利用在每次迭代更改单个活动集来避免求解奇异方程组；这些方法实现较复杂，时间复杂度和计算复杂度较高。

发明内容

针对现有方法的不足，本发明提出了一种新型的基于随机扰动的支持向量机正则化路径奇异问题处理方法，该方法在现有扰动方法上进行改进，对每一个数据点满足的Karush–Kuhn–Tucker(KKT)条件中添加一个小的随机扰动(而非修改每个数据点)，使得每次迭代中只有一个索引进入或离开活动集，确保系数矩阵可逆来避免奇点。

用于实现本发明的技术解决方案包括如下步骤：

步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理。

步骤2：选择核函数，计算内核矩阵K；

步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合设置迭代次数计数变量l＝0；

步骤4：判断ε是否为空集，若不是空集，直接进入下一步；若是空集，初始化ε,计算正则化参数λ和变量μ；