[发明专利]基于支持向量机正则化路径的广义近似交叉验证方法

权利要求书

1.一种基于支持向量机正则化路径的广义近似交叉验证方法，其特征是，包括下列步骤：在定义的支持向量机正则化模型中，开始时赋给λ一个很大的值，让λ递减并趋向0，随着λ的减少，||β||增加，间隔的宽度减小，随着间隔的变窄，训练点从间隔里移到间隔外，与这些训练点对应的α_i值从α_i＝1，此时训练点在间隔中，y_if(x_i)＜1，变为α_i＝0，当它们移出间隔，y_if(x_i)＞1，由连续性，当α_i从1减至0时，训练点必会落到间隔y_if(x_i)＝1上，然后，在得到的正则化路径上应用GACV方法，选出GACV值最小的分类器。

2.根据权利要求1所述的一种基于支持向量机正则化路径的广义近似交叉验证方法，其特征是，所述基于支持向量机正则化路径的广义近似交叉验证方法，进一步细化为：

第1步：初始化

(1)初始化情形1：n_-＝n₊

对起始时值很大的λ，有其中

为满足式需一或多个正类和负类训练点同时击中拐点，随着λ的减少，有

∀iyif(xi)≤1]]>或yi[β*Txiλ+β0]≤1---(18)]]>

或β0≤1-β*Txiλ]]>对所有i∈I₊                                  (19)

β0≥-1-β*Txiλ]]>对所有i∈I_-，                                (20)

取可以得到和得出求解初始输入点λ₀和β₀的方程，

λ0=β*Txi+-β*Txi-2---(21)]]>

β0=-(β*Txi++β*Txi-β*Txi+-β*Txi-)---(22)]]>

(2)初始化情形2：n₊＞n_-

当β＝0时，β₀的最优值是1，损失为同样要求满足式引理对于设s.t.对i∈I₊α_i∈[0，1]；对i∈I_-，α_i＝1，且

则对某些λ₀，有：对所有λ＞λ₀，且β＝β*/λ，β*=Σi=1nyiαi*xi,]]>设β^*为对应于α_i^*的系数(17式)：β*=Σi=1nαi*yixi---(25)]]>

因此存在下列两种可能的情形：

存在两个或多个元素在I₊中，使得或者

αi*∈{0,1}∀i∈I+;]]>

对第一种情形，假设设则点i₊将留在间隔中直到有I_-中的点到达，由此

λ0=β*Txi+-β*Txi-2,---(26)]]>

这与(21)式是一致的，同样，β₀与式(22)一致；

对第二种情形，易知来自I_-中的点与I₊中的点必须同时到达间隔，能得到类似的情形，只需换用记号I₊¹表示I₊中满足的子集；

第2步：求解λ_l、α_l、和f_l：

考虑下列事件：

1).初始化事件，2或多个训练点开始时处于拐点处，即它们对应的初值α∈[0，1]，

2).训练点从L进入E中，初始值α_i为1，

3).训练点从R进入E中，初始值α_i为0，

4).一或多个训练点跳出集合E，进入R或L中，

无论出现哪种情况，出于连续性，集合在事件发生前保持稳定，若某点经过E，它对应的α_i必定从0变成1或者从1变成0，E中的点满足y_if(x_i)＝1，因而能建立α_i的路径，

事件4)说明当L不空时E可能变为空，若L不空时E为空，则表明L中+1s与-1s平衡，下标l记录发生第l次事件后的集合，设|E_l|＝m，且令α_i^l，β₀^l和λ_l为该点在输入时参数值，类似的f^l表示在该点处的函数值，为方便起见，令α₀＝λβ₀，因而

f(x)=1λ(Σj=1nyjαjK(x,xj)+α0)---(27)]]>

若λ_l＞λ＞λ_l+1，则

f(x)=[f(x)-λlλfl(x)]+λlλfl(x)]]>

=1λ[Σj∈El(αj-αjl)yjK(x,xj)+(α0-α0l)+λlfl(x)]---(28)]]>

之所以能推出第二行，是因为L_l中观察值在λ的范围内满足α_i＝1，而在R_l中α_i＝0，对这m个训练点，x_i∈E_l都处于拐点处，因而

1λ[Σj∈El(αj-αjl)yiyjK(xi,xj)+yi(α0-α0l)+λl]=1,∀i∈El---(29)]]>

记δj=αjl-αj,]]>由(28)有

[Σj∈ElδjyiyjK(xi,xj)+yiδ0=λl-λ,∀i∈El---(30)]]>

此外，由于Σi=1nyiαi=0,]]>因而

Σj∈Elyiδj=0---(31)]]>

等式(30)和(31)对m+1个未知δ_j确定了m+1个方程，能求解；

对于E_l中的i和j，用m×m的矩阵K_l^*表示训练点第ij次进入y_iy_jK(x_i，x_j)，由(30)式有

kl*δ+δ0yl=(λl-λ)1,---(32)]]>

其中y_l表示输入为y_i的m维向量，i∈E_l，由(31)式有

ylTδ=0---(33)]]>

将两部分组合在一个矩阵里，

Al=0ylTylKl*,]]>δa=δ0δ,]]>且1a=01,---(34)]]>

则(32)式与(33)式可写为

A_lδ^a＝(λ_l-λ)1^a，                          (35)

若A_l满秩，则可b^a＝Al^-11^a                     (36)

因而αj=αjl-(λl-λ)bj,j∈{0}UEl---(37)]]>

对于λ_l+1＜λ＜λ_l，拐点处的α_j与λ满足线性关系，由(27)式，

f(x)=λlλ[fl(x)-hl(x)]+hl(x)---(38)]]>

其中hl(x)=Σj∈ElyjbjK(xi,xj)+b0---(39)]]>

若A_l不满秩，则解路径上的某些α_i值不唯一；

第3步：求解λ_l+1并更新

在下面的某个事件发生前，路径将停留在(37)-(38)：

1).α_i达到边界值(0或1)，i∈E_l，

2).L^l或R^l中的训练点达到y_if(x_i)＝1，从(38)式知对点i，有

λ=λl(fl(xi)-hl(xi)yi-hl(xi))---(40)]]>

为检验这些条件，找出最大的λ＜λ_l，当事件发生时，确立新的λ_l+1值并更新集合；

第4步：终止，

在可分的情形下，当L变为空时终止，此时，(17)式中的ξ_i全为零；

在不可分的情况下，λ取遍所有的可能值并最后变为零；

第5步：根据背景技术2中的结论，计算分类器中GACV值，取最小值者作为最优分类器，前面各式中，

X：输入训练点              y：训练点对应的类别

ξ：表示松弛变量          λ：正则项系数

β：表示正则项            β₀：正则项初始值

α_i，γ_i：拉格朗日乘子    f：表示学习器

A，B：表示类别            μ(f)：对给定f的预测器。