[发明专利]一种用于k近邻分类的线性特征提取方法

摘要

本发明属于统计模式识别与机器学习技术领域，具体为一种用于k近邻分类的线性特征提取方法。本发明提出多类数据点在局部引力和局部斥力的作用下形成一个邻接图模型以及表示该图模型的鉴别邻接矩阵。从目标函数导出一个非半正定的对称矩阵，对该矩阵进行谱分析可知，将数据映射到由这个矩阵负特征值对应的特征向量张成的空间中去时，近邻分类的准确率能达到最大。本方法通过谱分析来确定适合于分类的新空间的最佳维数，而不是如已有方法那样只能在实验中不断调试得到。而且，该方法还具有非参数、非迭代、避免局部小、避免奇异矩阵等优点。

主权项

1.一种用于k近邻分类的线性特征提供方法，设X＝[x₁，x₂，...，x_n]为原空间R^D中的n个样本，要寻找一个线性映射P，使X在该线性映射下得到的新空间中，同类近邻点之间尽可能的近，异类近邻点之间尽可能的远：[x1,x2,...,xn]→P[PTx1,PTx2,...,PTxn]---(1)]]>同类近邻点之间的紧度定义为：Δ=Σii||PTxi-PTxj||2,---(2)]]>(x_i∈Neig^I(j)∨x_j∈Neig^I(i))其中Neig^I(i)表示点x_i的同类近邻集合，可以简单地利用k近邻分类实现；异类近邻点之间的散度定义为：δ=Σi,j||PTxi-PTxj||2,---(3)]]>(x_i∈Neig^E(j)∨x_j∈Neig^E(i))其中Neig^E(i)表示点x_i的异类近邻集合，同样可以利用k近邻分类来实现；即目标函数，Ψ=Δ-δ]]>==Σi,j||PTxi-PTxj||2Fij---(4)]]>为最小，其中：具体计算步骤如下：(1)根据公式(5)计算实对称矩阵X(S-F)X，其中F＝[F_ij]_n×n，S=[Sij]n×n=Σj=1nFiji=j0i≠j;]]>(2)对实对称矩阵X(S-F)X进行特征值分解，求得的特征值和特征向量分别为λ_j和P_j，j＝1，2，…，D；(3)设所有负特征值的个数为d，将特征值λ_j从小到大排序：λ₁≤...≤λ_d＜0≤λ_d+1≤...，前d个特征所值对应的特征向量P＝[P₁，P₂，...，P_d]即为所求的线性映射，使得原空间中的样本X在该映射[x1,x2,...,xn]→P[PTx1,PTx2,...,PTxn]]]>下同类近邻点之间尽可能的近，异类近邻点之间尽可能的远。