[发明专利]一种用于k近邻分类的线性特征提取方法

权利要求书

1.一种用于k近邻分类的线性特征提供方法，设X＝[x₁，x₂，...，x_n]为原空间R^D中的n个样本，要寻找一个线性映射P，使X在该线性映射下得到的新空间中，同类近邻点之间尽可能的近，异类近邻点之间尽可能的远：

[x1,x2,...,xn]→P[PTx1,PTx2,...,PTxn]---(1)]]>

同类近邻点之间的紧度定义为：

Δ=Σii||PTxi-PTxj||2,---(2)]]>

(x_i∈Neig^I(j)∨x_j∈Neig^I(i))

其中Neig^I(i)表示点x_i的同类近邻集合，可以简单地利用k近邻分类实现；异类近邻点之间的散度定义为：

δ=Σi,j||PTxi-PTxj||2,---(3)]]>

(x_i∈Neig^E(j)∨x_j∈Neig^E(i))

其中Neig^E(i)表示点x_i的异类近邻集合，同样可以利用k近邻分类来实现；

即目标函数，

Ψ=Δ-δ]]>

==Σi,j||PTxi-PTxj||2Fij---(4)]]>

为最小，其中：

具体计算步骤如下：

(1)根据公式(5)计算实对称矩阵X(S-F)X，其中F＝[F_ij]_n×n，

S=[Sij]n×n=Σj=1nFiji=j0i≠j;]]>

(2)对实对称矩阵X(S-F)X进行特征值分解，求得的特征值和特征向量分别为λ_j和P_j，j＝1，2，…，D；

(3)设所有负特征值的个数为d，将特征值λ_j从小到大排序：

λ₁≤...≤λ_d＜0≤λ_d+1≤...，前d个特征所值对应的特征向量P＝[P₁，P₂，...，P_d]即为所求的线性映射，使得原空间中的样本X在该映射[x1,x2,...,xn]→P[PTx1,PTx2,...,PTxn]]]>下同类近邻点之间尽可能的近，异类近邻点之间尽可能的远。

2.根据权利要求1所述的方法，其特征在于在所有负特征值λ₁，λ₂，…λ_d中，选择绝对值大的前t个负特征值对应的特征向量作为投影向量，使得：Σi=1t|λi|≥θΣi=1d|λi|,0.90≤θ≤0.98,]]>以这t个负特征值对应的特征向量，作为所求的线性映射P。