[发明专利]基于条件互信息的特征选择方法

说明书

本发明属于机器学习、数据挖掘技术领域，为提出新的特征选择方法。为此，本发明采用的技术方案是，基于条件互信息的特征选择方法，步骤如下：1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小；2)基于条件互信息的特征选择算法基于式(5)，对候选特征集和已选特征集进行初始化，并计算候选特征集中特征与类标签的互信息值，选取具有最大互信息值的特征；然选取使式(5)取得最大值的特征，按照上述过程循环选取特征，直至选取特征数为N，结束循环。本发明主要应用于机器学习、数据挖掘场合。

技术领域

本发明属于机器学习、数据挖掘技术领域，具体讲,涉及基于条件互信息的特征选择方法。

背景技术

作为维数约简的一种重要方式，特征选择是利用不同的度量标准对特征进行度量，从原始特征中选取效果较显著的特征子集作为最终特征。依据不同的度量标准，特征选择算法包括基于信息度量的算法、基于一致性度量的算法和基于距离度量的算法等。

基于条件互信息的算法是基于信息度量算法中的一类典型算法，该类算法能够取得较好的特征选择效果。针对基于条件互信息的算法，人们主要从以下两个方面展开研究：一种是先构造出含两种最值形式的目标函数，然后基于该目标函数，提出基于条件互信息的特征选择算法；另一种是先构造出仅含最大值形式的目标函数，然后基于所提的目标函数，提出基于条件互信息的特征选择算法。与第一种情况相比，由于其目标函数形式固定，第二种情况提出的算法具有一定的优势。本发明对第二种情况的特征选择进行研究，提出一种基于条件互信息的特征选择算法。

发明内容

为克服现有技术的不足，本发明旨在提出新的特征选择方法。为此，本发明采用的技术方案是，基于条件互信息的特征选择方法，步骤如下：

1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小，信息熵H(X)表示为：

互信息常被用来量化两变量所包含的共同信息，X和Y的互信息I(X；Y)表示为：

I(X；Y)＝I(Y；X) (3)

其中，p(x)、p(y)分别为变量X、Y的概率密度函数，p(x,y)为变量X和Y的联合概率密度函数，I(Y；X)为Y和X的互信息；

条件互信息被用来量化一个变量已知情况下，另外两个变量所包含的共同信息，I(X；Y/Z)表示为：

其中，p(x,y,z)为变量X、Y和Z的联合概率密度函数，p(x,y/z)为在Z＝z条件下X、Y的联合概率密度函数，p(x/z)为在Z＝z条件下X的概率密度函数，p(y/z)为在Z＝z条件下Y的概率密度函数；

2)基于条件互信息的特征选择算法

候选特征f_i与类标签c的互信息I(f_i；c)，表明该特征f_i与类标签c的相关程度，其值越大，表明特征与类标签越相关；候选特征f_i、已选特征f_s和类标签c的条件互信息I(f_i；c/f_s)，表明选取该特征f_i所能带来的关于类标签的新信息，其值越大，表明选取该特征所能带来的关于类标签的新信息越多，所以，提出如式(5)的度量标准：