[发明专利]基于神经网络的k-NN算法中k值预测方法及装置

权利要求书

1.一种基于神经网络的k-NN算法中k值预测方法，其特征在于，包括：

利用机器学习方法分析历史数据集的特征和最优k值间的内在关系，并根据所述内在关系构建相应的k值预测模型；

当新数据集到来时，抽取其特征度量作为k值预测模型的输入进行k值预测，获取从所述k值预测模型中输出的待分类问题上的最优k值。

2.如权利要求1所述的方法，其特征在于，利用机器学习方法分析历史数据集的特征和最优k值间的内在关系，并根据所述内在关系构建相应的k值预测模型具体包括：

从每个历史数据集中，抽取可用的数据集特征度量，同时采用交叉验证方法确定每个数据集上的最优k值，建立数据集特征与最优k值的关系数据库；

基于所述关系数据库，采用后向传播算法BP，构建数据集特征与最优k值之间的关系模型，即k值预测模型。

3.如权利要求2所述的方法，其特征在于，所述数据集特征度量具体包括：传统特征度量、问题复杂度量、Landmarking度量、基于模型的度量以及结构信息度量。

4.如权利要求2所述的方法，其特征在于，基于所述关系数据库，采用后向传播算法BP，构建数据集特征与最优k值之间的关系模型，即k值预测模型具体包括：

每一个数据集特征对应一个后向传播算法BP的输入层的单元，输出层为最优k值，后向传播算法BP迭代地处理训练样本数据集，通过比较每个样本的预测k值与实际最优k值进行学习；对于每一个训练样本，修改其权重使其预测值和实际值之间的均方差最小，权重最终收敛，学习过程停止。

5.如权利要求2所述的方法，其特征在于，基于所述关系数据库，采用后向传播算法BP，构建数据集特征与最优k值之间的关系模型，即k值预测模型之前，所述方法进一步包括：

预先使用wrapper方法从数据集特征度量中进行属性选择，在不损失模型预测性能的情况下，过滤掉不相关的或是无用的属性；

将经Wrapper筛选出的数据集特征度量子集作为后向传播算法BP的输入。

6.如权利要求5所述的方法，其特征在于，选出的数据集特征度量子集具体包括：属性数量F、信噪比NSR、类熵H(C)和变量的平均熵H(x)。

7.如权利要求4所述的方法，其特征在于，后向传播算法BP迭代地处理训练样本数据集，通过比较每个样本的预测k值与实际最优k值进行学习具体包括：

依据训练集中样本数量，将最优k值的搜索区间设为[1，num Train]，采用了5×10折交叉验证方法，评估不同k值对应的k-NN算法的分类性能；

将k值的上限kmax设为训练集的大小，首先将每一个数据集分割成相等的10折，其中一折作为测试集，其余折一起作为训练集，用以构建分类模型，重复5次，每次随机数不同，通过5×10折交叉验证，获得所有k值对应的k-NN算法的分类精度；

依据最高分类精度及置信边界ω，计算每个数据集上可用k值对应的k-NN算法的分类精度边界[Acc-ω·AM，Acc]，从而确定可用k值集合，其中，Acc为最优分类精度，NT为测试集中样本数量，ω决定可用区间的范围，ω越大，置信度越高，则最优k值对应的k-NN分类算法落入区间内的可能性越高；

将所述可用k值集合中的最优最小的k值用于构建k值预测模型，其他可用的k值用于评估k值预测模型的性能；给定待分类数据集，如果k值预测算法推荐的k值属于可用k值集合，那么预测的k值则被认为是最优k值，否则，预测的k值不是最优k。

8.如权利要求6所述的方法，其特征在于，k值预测模型具体包括：由数据集特征度量子集F、H(C)、H(x)和NSR组成的输入层，隐藏层及预测k值对应的输出层，其中，输入层、隐藏层和输出层之间设置有相应的权重系数。

9.一种基于神经网络的k-NN算法中k值预测装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的信号测量方法的步骤。