[发明专利]一种求解稀疏正则化支持向量机的方法

说明书

本发明涉及机器学习领域，针对当前稀疏正则化支持向量机(Support Vector Machine,SVM)的优化方法往往只针对某些特定的稀疏正则项，且计算开销较大的问题，提供一种求解稀疏正则化支持向量机的方法，包括以下步骤：第一步，载入数据矩阵和标记向量，并进行变量初始化；第二步，基于变方向乘子法求解稀疏正则化SVM。本发明基于变方向乘子法，实现对稀疏正则化SVM问题的高效求解，并根据样本个数和数据维度的相对大小关系执行变量更新，有效降低计算开销。本发明提出的求解方法支持常用的能产生稀疏解的正则函数，包括凸正则函数l₁‑norm和SCAD，MCP，LSP，Capped‑l₁等非凸正则函数，对于同时实现特征选择与线性分类具有重要意义。

技术领域

本发明属于机器学习领域，尤其涉及一种求解稀疏正则化支持向量机(SupportVector Machine,SVM)的方法。

背景技术

在大数据时代，数据往往具有高维、稀疏的特点。同时，高维数据中只有少量的特征是相关特征，如何有效地进行特征选择是当前的研究热点。支持向量机是处理分类和回归任务的最著名的监督学习方法之一，并且已经广泛应用于数据挖掘、信息检索、基因选择和计算机视觉等多个领域。然而，标准线性支持向量机并不具备特征自动选择功能。

为了实现自动的特征选择，常常在标准线性SVM的基础上添加能够产生稀疏解的正则函数。一种被广泛应用于稀疏学习中的正则函数是l₁-norm，l₁-norm正则函数是凸函数，它最先在LASSO中被引进，LASSO也称为“套索回归”。除了l₁-norm正则函数，研究人员还提出了很多非凸正则函数，常用的非凸正则函数包括l_q正则函数(0<q<1)、SCAD(SmoothClipped Absolute Deviation)正则函数、MCP(Minimax Concave Penalty)正则函数、LSP(Log-sum Penalty)正则函数和Capped-l₁正则函数。理论上，非凸正则函数相对于l₁-norm正则函数更容易得到解的无偏估计。

然而，当标准线性SVM与稀疏正则项结合起来时，问题往往变得更加难以求解。特别是当稀疏正则项是非凸函数时，目标函数同时具有非凸非平滑的性质，求解十分困难。现有求解稀疏正则化SVM方法大多都针对某些特定的稀疏正则项，同时计算开销较高，并不能高效求解稀疏正则化SVM问题。

综上，添加稀疏正则项的SVM是机器学习领域中一种强有力的工具，能够同时实现变量选择功能和分类任务。

发明内容

针对当前稀疏正则化SVM的优化方法往往只针对少量的稀疏正则项，且计算开销较大的问题，本发明提供一种求解稀疏正则化支持向量机的方法，基于变方向乘子法(Alternating Direction Method of Multipliers,ADMM)，实现对稀疏正则化SVM问题的高效求解。并根据样本个数和数据维度的相对大小关系执行变量更新，有效降低计算开销。本发明提出的求解方法支持常用的能产生稀疏解的正则函数，包括凸正则函数l₁-norm和SCAD，MCP，LSP，Capped-l₁等非凸正则函数。

具体技术方案如下：

一种求解稀疏正则化支持向量机的方法，包括以下步骤：