[发明专利]一种求解稀疏正则化支持向量机的方法

权利要求书

1.一种求解稀疏正则化支持向量机的方法，其特征在于，包括以下步骤：

第一步，载入数据矩阵X和标记向量y，输入稀疏正则化类型、以及惩罚参数ρ₁、ρ₂(ρ₁＞0，ρ₂＞0)，并将原向量w、b、z、ξ、s与对偶变量u、v初始化为0向量；初始化迭代次数计数k＝0；其中数据矩阵x_i＝(x_i1,...,x_id)^T是d维特征向量，n是带标记的训练数据的训练数据数量，n为自然数，标记向量y＝(y₁,,y_i,,y_n)，y_i∈{-1,+1}是相应的类别标记；

第二步，求解公式(1)所示的稀疏正则化SVM，

其中，为正则函数，p_λ(w_j)是包括l₁-norm，SCAD，MCP，LSP和Capped-l₁能产生稀疏解的正则函数，参数λ用于平衡数据拟合和模型的稀疏度；[a]₊代表max(a,0)，即在a和0之间取极大值；

具体流程如下：

2.1计算ρ＝ρ₁/ρ₂，H＝YX；如果n≥d，计算C＝ρI_d+H^TH；否则，计算I_d和I_n分别代表大小为d×d和n×n的单位矩阵；接着对矩阵C执行Cholesky分解，即C＝LU；其中，“:＝”为赋值运算符，即将“:＝”右侧表达式的值赋值给“:＝”左侧的变量；是由数据标记构成的对角矩阵；

2.2计算f^k＝ρ(z^k-u^k)+H^T(s^k+1-ξ^k-v^k-b^ky)；

2.3按照公式(14)更新变量w；

2.4按照公式(13)更新变量b；

2.5计算ψ^k+1＝w^k+1+u^k；

2.6根据选择的正则项类型，按照公式(16)来更新变量z；

其中，ψ＝w+u，ψ＝(ψ₁,...,ψ_d)^T；

2.7按照公式(17)更新变量ξ，然后通过ξ^k+1:＝max(ξ^k+1/2,0)这一变量映射操作使得变量ξ的每个元素都大于等于0；

2.8按照公式(18)更新变量s，然后通过s^k+1:＝max(s^k+1/2,0)这一映射操作使得变量s的每个元素都大于等于0；

s^k+1:＝ξ^k+1+Hw^k+1+b^k+1y-1+v^k (18)

2.9按照公式(10)更新对偶变量u；

u^k+1:＝u^k+(w^k+1-z^k+1) (10)

2.10按照公式(11)更新对偶变量v；

v^k+1:＝v^k+(ξ^k+1-s^k+1+Hw^k+1+b^k+1y-1) (11)

2.11检测是否满足终止条件，方法是：计算公式(1)的相对变化量其中当ε的值小于10^-4时，结束迭代过程；否则，k值增1，转步骤2.2。