[发明专利]一种基于Relief和互信息的特征选择算法

说明书

本发明提供了一种基于Relief和互信息的特征选择算法，属于计算机算法领域。本发明的步骤如下：(1)将最优特征子集设置成空集，设置最优特征子集权重；(2)选择一个数据中的所有特征中不属于最优特征子集中的特征，将其放入候选最优特征子集中，并通过复合特征评价准则计算当前候选最优特征子集的权重；(3)对此时候选最优特征子集的权重进行评价并更替；(4)去除不符合要求的待选特征；(5)若还有待选特征，则从返回(2)继续计算。否则，算法结束。本发明提供的方法针对Relief特征选择算法只能处理二分类问题而不能处理冗余特征的问题进行改进，提出了基于改进的Relief权重的特征选择算法，使该特征选择算法计算高效的同时具有更高的计算准确率。

技术领域

本发明涉及一种基于Relief和互信息的特征选择算法的改进方法，属于计算机算法领域。

背景技术

特征选择算法主要分为Filter类、Wrappers类、Embedded类和Hybrid类。其中因为Filter类的特征选择因计算高效，因此使用较广泛。其中Filter类中最具代表性的算法便是Relief特征选择算法，该算法思想简单且计算高效。但因其只能处理二分类问题，因此在应用中受到制约，且该算法不能处理冗余特征的问题。Hybrid类中的特征选择算法混合这方面的优点，因此使用也很广泛。其中，特征选择算法中，通过使用互信息作为评价准则的算法有着很高的关注度。这类算法通过使用互信息作为评价准则，因此具有处理冗余特征的特性。但是，因在计算特征间互信息时，需要提前计算特征间的概率分布甚至概率密度。因此，此类算法具有很高的计算负载，计算效率不高。

发明内容

本发明提供了一种基于Relief和互信息的特征选择算法，目的在于解决Relief算法进行特征选择中只能处理二分类问题，使用互信息作为评价准则的算法在进行特征选择中计算复杂度高这两个问题，提出的基于Relief和互信息的特征选择算法。

本发明的目的通过以下方式实现：

步骤一：将最优特征子集设置成空集，并将最优特征子集的权重设置成整型类型数字的最小值；

步骤二：选择一个数据中的所有特征中不属于最优特征子集中的特征，将其放入候选最优特征子集中，并通过复合特征评价准则计算当前候选最优特征子集的权重；

步骤三：如果此时候选最优特征子集的权重大于上一次计算得到的最优特征子集权重，则将最优特征子集权重更新为当前候选最优特征子集的权重，并将当前的候选特征子集作为最优特征子集；

步骤四：如果此时候选最优特征子集的权重小于上一次计算得到的最优特征子集权重，则将该特征从当前数据的待选特征中去除；

步骤五：若还有待选特征，则从返回步骤二继续计算。否则，算法结束。

与现有技术相比，本发明的优势在于：

本发明提供的方法针对Relief特征选择算法只能处理二分类问题而不能处理冗余特征的问题进行改进，提出了基于改进的Relief权重的特征选择算法。该算法通过对Relief权重进行更改，使其可以评价一组特征子集，解决了Relief算法只能处理二分类问题的局限。针对不能处理冗余特征方面，本发明通过使用互信息作为评价准则解决了冗余特征问题。但是，因为使用互信息作为评价准计算负载高，因此本发明通过使用二次Renyi熵计算互信息，解决该问题。并且，通过使用二次Renyi熵计算互信息的前提下，提出基于互信息的评价准则。更好的解决特征间冗余度与相关度的问题。最后，将改进的Relief权重与使用二次Renyi熵进行计算的基于互信息的评价准则结合，提出一种混合相关度的特征选择算法，使该特征选择算法计算高效的同时具有更高的计算准确率。

附图说明

图1为本发明的流程框图；

图2为本发明中的FSIRW特征选择算法在不同数据集上的降维效果图；