[发明专利]一种用于k近邻分类的线性特征提取方法

说明书

技术领域

本发明属于统计模式识别与机器学习技术领域，具体涉及一种用于k近邻分类的线性特征提取方法。

背景技术

模式分类是机器学习领域最基本的研究任务之一。在实际问题中，各模式的每一维都是该模式的一个特征。由于通常不知道哪些特征对分类是有效的，因此通常是尽可能多地采集数据特征，然后交给分类器去判断。因此，表征模式的特征通常是高维的。高维的模式特征通常带来两方面的问题：1)计算和存储代价较高，2)维数灾难问题。维数灾难问题是许多模式识别方法在实际应用中面临的主要问题，如人脸识别、图像分类和文本处理等。当样本量有限而特征维数很高时，维数灾难问题就会凸现，它直接导致分类器性能的下降。特征提取就是研究如何从现有的特征中提取出有效特征，同时把数据从高维空间映射到低维空间。映射可以是线性或非线性的。由于线性特征提取方法的简单有效性，它广泛应用于机器学习和模式识别的各个领域。

当前，已提出了很多线性特征提取方法，主要的有：

文[1]将主分量分析运用于人脸识别，提出了特征脸方法。主分量分析寻找在最小均方意义下最能代表原始数据的投影，将高维人脸图像用低维特征系数表示。主分量分析是以信号表示为目的的特征提取，不需要类标号信息，属于无监督的特征提取方法。

文[2][3][4]利用线性鉴别分析方法提取特征，即找到一组投影向量W∈R^D×d使Fisher准则最大。其中，D和d分别是数据映射前后的维数，S_w和S_b分别是类内

散度矩阵和类间散度矩阵。变换矩阵W由S_w^-1S_b最大的d个特征值对应的特征向量组成。因为S_b的秩为c-1，线性鉴别分析方法所提取的特征维数至多为c-1，除非特征提取函数为后验概率函数，否则c-1个特征根本达不到贝叶斯最优[5]。

文[6]利用非参数边际距离最大化准则，从提高最近邻分类器性能的角度出发提取特征，并不对数据分布做任何假设，对单模态分布和多模态分布的数据均有较好的鲁棒性。由于低维特征空间的目标维数并不清楚，只能在实验中作为参数调整得到。

文[7]自动学习一个转换矩阵使得在新的特征空间里最近邻分类的留一法错误率最小。该方法每次迭代都要重新计算梯度和同类所有样本的距离，整个计算过程非常耗时，而且很难避免局部最优的情况。同样，该方法对于低维特征空间的目标维数依然并不清楚，在实验中随机选择新空间的维数。

文[8][9][10]都认为数据点在高维空间中形成了一个低维流形，通过流形学习方法，将数据点从高维空间映射到低维空间，实现特征提取。但这三种方法都不能确定潜在流形的最佳分类维问题，并且还受矩阵奇异性问题的困扰。

发明内容

本发明的目的在于提出一种计算速度快，并可避免矩阵奇异性困扰的用于k近邻分类的线性特征提取方法。

本发明假设要处理的多类数据点之间均存在相互作用力。这种作用力随着两个数据点间的距离增大而减小。因此，我们可以只考虑邻居点之间的相互作用力，而将相距甚远的两点之间的相互作用力忽略不计。这种作用力因此也称局部作用力。根据分类要求希望实现“同类相吸，异类相斥”，局部作用力分为局部引力和局部斥力两种。前者存在于同类近邻点之间，后者存在于异类近邻点之间。每个点在局部引力和局部斥力的共同作用下运动，并在这种状态下达到平衡。平衡状态下，数据点的分布具有如下特点：类内尽可能紧致，类间尽可能分开。这种运动可通过某种线性映射来完成，即将数据从原空间输入到某个新的特征空间中去。与已有相关算法相比，本发明有一大优点，即适合分类的新空间的维数可通过对一个实对称矩阵的谱分析估计得到。

设X＝[x₁，x₂，...，x_n]为原空间R^D中的n个样本。要寻找一个线性映射P，使X在该线性映射下得到的新空间中，同类近邻点之间尽可能的近，异类近邻点之间尽可能的远：