[发明专利]一种求解稀疏正则化支持向量机的方法

摘要

本发明涉及机器学习领域，针对当前稀疏正则化支持向量机(Support Vector Machine,SVM)的优化方法往往只针对某些特定的稀疏正则项，且计算开销较大的问题，提供一种求解稀疏正则化支持向量机的方法，包括以下步骤：第一步，载入数据矩阵和标记向量，并进行变量初始化；第二步，基于变方向乘子法求解稀疏正则化SVM。本发明基于变方向乘子法，实现对稀疏正则化SVM问题的高效求解，并根据样本个数和数据维度的相对大小关系执行变量更新，有效降低计算开销。本发明提出的求解方法支持常用的能产生稀疏解的正则函数，包括凸正则函数l₁‑norm和SCAD，MCP，LSP，Capped‑l₁等非凸正则函数，对于同时实现特征选择与线性分类具有重要意义。

主权项

1.一种求解稀疏正则化支持向量机的方法，其特征在于，包括以下步骤：第一步，载入数据矩阵X和标记向量y，输入稀疏正则化类型、以及惩罚参数ρ₁、ρ₂(ρ₁＞0，ρ₂＞0)，并将原向量w、b、z、ξ、s与对偶变量u、v初始化为0向量；初始化迭代次数计数k＝0；其中数据矩阵x_i＝(x_i1,...,x_id)^T是d维特征向量，n是带标记的训练数据的训练数据数量，n为自然数，标记向量y＝(y₁,,y_i,,y_n)，y_i∈{‑1,+1}是相应的类别标记；第二步，求解公式(1)所示的稀疏正则化SVM，其中，为正则函数，p_λ(w_j)是包括l₁‑norm，SCAD，MCP，LSP和Capped‑l₁能产生稀疏解的正则函数，参数λ用于平衡数据拟合和模型的稀疏度；[a]₊代表max(a,0)，即在a和0之间取极大值；具体流程如下：2.1计算ρ＝ρ₁/ρ₂，H＝YX；如果n≥d，计算C＝ρI_d+H^TH；否则，计算I_d和I_n分别代表大小为d×d和n×n的单位矩阵；接着对矩阵C执行Cholesky分解，即C＝LU；其中，“:＝”为赋值运算符，即将“:＝”右侧表达式的值赋值给“:＝”左侧的变量；是由数据标记构成的对角矩阵；2.2计算fk＝ρ(zk‑uk)+HT(sk+1‑ξk‑vk‑bky)；2.3按照公式(14)更新变量w；2.4按照公式(13)更新变量b；2.5计算ψk+1＝wk+1+uk；2.6根据选择的正则项类型，按照公式(16)来更新变量z；其中，ψ＝w+u，ψ＝(ψ1,...,ψd)T；2.7按照公式(17)更新变量ξ，然后通过ξk+1:＝max(ξk+1/2,0)这一变量映射操作使得变量ξ的每个元素都大于等于0；2.8按照公式(18)更新变量s，然后通过sk+1:＝max(sk+1/2,0)这一映射操作使得变量s的每个元素都大于等于0；sk+1:＝ξk+1+Hwk+1+bk+1y‑1+vk                (18)2.9按照公式(10)更新对偶变量u；uk+1:＝uk+(wk+1‑zk+1)                       (10)2.10按照公式(11)更新对偶变量v；vk+1:＝vk+(ξk+1‑sk+1+Hwk+1+bk+1y‑1)             (11)2.11检测是否满足终止条件，方法是：计算公式(1)的相对变化量其中当ε的值小于10^‑4时，结束迭代过程；否则，k值增1，转步骤2.2。