[发明专利]一种基于特征可信度的高效特征选择方法

说明书

本发明公开了一种基于特征可信度的高效特征选择方法，本发明提出的特征可信度来源于两个方面。一是特征和目标类别的权值，从数据集中随机挑选出样本，从该随机样本的同类和不同类样本实例集中分别找出k个与该随机样本最近邻的样本，然后计算特征全集中每个特征对于目标类别的权值，表示特征与目标类别之间相关度。二是迭代历史信息中各个特征的选择概率，在粒子群更新N次的历史信息中，如果第d个特征多次被选中，则说明该特征很大程度上能使适应度值增加，因此粒子p在第d维度位置更新的时候引入历史更新信息的影响。该发明在保证准确率的同时相对于标准BPSO优化方法有更高的搜索效率和更快的收敛速度。

技术领域

本发明涉及一种基于特征可信度的高效特征选择方法，属于机器学习和人工智能技术领域。

背景技术

目前，特征选择被认为是机器学习系统工程中必不可少的一个环节，旨在特征全集(即所有特征)中选取少数特征能够使得系统性能达到最优化。在分类工程中，特征之间可能存在冗余，而这些冗余特征甚至会导致分类算法识别准确性降低。过高的特征维数增大了系统计算开销，降低了系统响应时间，导致系统和用户之间的交互性大大下降。

如果有N个特征，那么就可能存在2^N种可能存在的特征子集，无疑搜索空间是巨大的，因此，利用进化计算的搜索能力从潜在巨大的搜索空间搜索出最优的特征子集是非常合适的。其中离散二进制粒子群优化方法(BPSO)与遗传算法等其他进化计算方式相比，具有参数少，效率高，实现简单，收敛快等特点，BPSO作为随机搜索策略被广泛应用到特征选择问题中。

在常规的BPSO特征选择过程中，特征子集的分类准确率通常是首要考虑的指标。而粒子群的搜索效率也是需要考虑的，提升粒子群的搜索效率可以更快地找到最优的特征子集。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于特征可信度的高效特征选择方法，计算每个特征的权值表示特征与目标类别之间的相关度作为特征的可信度的来源之一，并结合在粒子群gbest更新N次的历史信息中每个特征的选择概率，在搜索时引入当前特征对目标类别进行分类时的可信度来引导搜索方向，以提高BPSO在搜索空间的搜索效率。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于特征可信度的高效特征选择方法，包括如下步骤：

步骤1：从数据集中随机挑选出样本，选取该随机样本的同类和不同类样本实例集，计算同类样本实例集中样本与随机样本之间的欧氏距离，并按欧氏距离大小排序，从序列中欧氏距离最小的样本开始选取，取k个样本；计算不同类样本实例集中样本与随机样本之间的欧氏距离，并按欧氏距离大小排序，从序列中欧氏距离最小的样本开始选取，取k个样本；对同类和不同类k个样本的每个特征的权值进行更新，作为特征可信度的一个来源；

步骤2：设定BPSO各个参数，计算各个特征迭代历史信息的选择概率作为特征可信度的第二个来源，并结合特征集A中各个特征的权值计算特征的可信度；

步骤3：根据最终输出的gbest_d，确定最终的特征选择。

作为优选方案，所述步骤1包括如下步骤：

步骤1-1：设训练数据集为D，迭代次数为m，样本特征集A＝[a₁，a₂，a₃，...，a_n]，n为特征个数，a_n为该特征的取值；设特征集A中特征的权值集合W[A]＝[W₁，W₂，W₃，...，W_n]，置所有的特征的初始权值为0，则W[A]＝0；

步骤1-2：循环执行以下2个步骤m次：