[发明专利]一种基于两层邻域信息的双重最近邻分类方法及系统

说明书

本发明公开了一种基于两层邻域信息的双重最近邻分类方法及系统，所述方法包括：在训练集中寻找输入样本的k个最近邻，并将它们重新命名为输入样本的直接近邻；在训练集中寻找各直接近邻的可用邻域，所有可用邻域中的样本被看作输入样本的间接近邻；各直接近邻的可用邻域中与输入样本分布较近的被整体保留，与直接近邻一起作为输入样本的候选近邻；据候选近邻与输入样本的反向近邻关系，确定双重最近邻；利用所有双重最近邻的类标签，根据多数表决规则，对输入样本进行分类判决。本发明可提高k近邻分类方法的分类性能，并通过实验验证了该方法的有效性。

技术领域

本发明属于模式识别技术领域，涉及基于k近邻的分类方法邻域，特别涉及一种基于两层邻域信息的双重最近邻分类方法及系统。

背景技术

k近邻算法是一种经典的非参数分类方法，对于给定的输入样本和训练集，k近邻算法能够从训练集中找到输入样本的k个最近邻，并通过多数表决规则对输入样本进行分类。也就是说，k近邻算法不需要获取训练集的统计特性以训练一个分类模型，而是可以根据训练集提供的信息直接对输入样本进行分类。由于k近邻算法简单、直观且易于实现，目前已被广泛应用于模式识别，特征选择，离群点检测等众多领域。

然而，k近邻算法的近邻选择方法不够成熟，影响了选出的最近邻的质量，进而制约了k近邻算法的分类性能。首先，相似性测度过于简单；k近邻算法仅用点对点的距离衡量输入样本和训练样本之间的相似性，完全放弃了关于它们分布的信息，考虑到这一问题，有研究者引入了质心最近邻的概念，提出了k质心近邻算法。受此启发，研究者们提出了更多基于质心最近邻的改进方案。其次，单边相似性不够全面；k近邻算法只从输入样本的角度考虑训练样本是否是它的k个最近邻之一，而没有从训练样本的角度考虑输入样本是否是它的k个最近邻之一。为了解决这一问题，互近邻和广义近邻的概念被相继提出，其中互近邻需要满足上述两个条件，是对最近邻的精炼，而广义近邻只需要满足任意一个条件，是对最近邻的推广。最后，邻域结构过于单一；k近邻算法只利用了输入样本的k个最近邻来帮助分类，而没有考虑这k个最近邻各自的邻域信息对分类的作用。目前尚未有研究者注意到这一问题。

发明内容

本发明的目的在于提供一种基于两层邻域信息的双重最近邻分类方法及系统，以解决现有技术中不成熟的近邻选择方法对k近邻算法分类性能限制的技术问题。本发明能够提高k近邻算法的分类性能。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于两层邻域信息的双重最近邻分类方法，用于模式识别，包括以下步骤：

步骤1，在预获取的训练集中寻找输入样本的k个最近邻，所述k个最近邻作为输入样本的直接近邻；

步骤2，在预获取的训练集中寻找各直接近邻的可用邻域，所有可用邻域中的样本作为输入样本的间接近邻；

步骤3，各直接近邻的可用邻域中与输入样本分布满足预设分布关系的被整体保留，与直接近邻一起作为输入样本的候选近邻；

步骤4，根据候选近邻与输入样本的反向近邻关系，决定双重最近邻；

步骤5，利用所有双重最近邻的类标签，根据多数表决规则，对输入样本进行分类判决。

本发明的进一步改进在于，步骤1具体包括以下步骤：

计算输入样本与所有训练样本之间的欧式距离，计算表达式为：

式中，N表示训练集中样本的总数，y_i表示任意一个训练样本，d(x，y_i)表示x和y_i的欧式距离；T为训练集，x为输入样本；

与输入样本距离最近的k个训练样本为输入样本的k个最近邻，计算表达式为：