[发明专利]基于条件互信息的特征选择方法

权利要求书

1.一种基于条件互信息的特征选择方法，其特征是，步骤如下：

1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小，信息熵H(X)表示为：

互信息常被用来量化两变量所包含的共同信息，X和Y的互信息I(X；Y)表示为：

I(X；Y)＝I(Y；X) (3)

其中，p(x)、p(y)分别为变量X、Y的概率密度函数，p(x,y)为变量X和Y的联合概率密度函数，I(Y；X)为Y和X的互信息；

条件互信息被用来量化一个变量已知情况下，另外两个变量所包含的共同信息，I(X；Y/Z)表示为：

其中，p(x,y,z)为变量X、Y和Z的联合概率密度函数，p(x,y/z)为在Z＝z条件下X、Y的联合概率密度函数，p(x/z)为在Z＝z条件下X的概率密度函数，p(y/z)为在Z＝z条件下Y的概率密度函数；

2)基于条件互信息的特征选择算法

候选特征f_i与类标签c的互信息I(f_i；c)，表明该特征f_i与类标签c的相关程度，其值越大，表明特征与类标签越相关；候选特征f_i、已选特征f_s和类标签c的条件互信息I(f_i；c/f_s)，表明选取该特征f_i所能带来的关于类标签的新信息，其值越大，表明选取该特征所能带来的关于类标签的新信息越多，所以，提出如式(5)的度量标准：

基于式(5)，特征选择过程如下：首先，对候选特征集和已选特征集进行初始化，并计算候选特征集中特征与类标签的互信息值，选取具有最大互信息值的特征；然后，先计算I(f_i；c/f_s)，再计算式(5)，并选取使式(5)取得最大值的特征，按照上述过程循环选取特征，直至选取特征数为N，结束循环。

2.如权利要求1所述的基于条件互信息的特征选择方法，其特征是，一个实例中的具体步骤如下：

步骤1：调用WEKA软件，使用最小描述长度离散方法对数据特征进行离散化；

步骤2：初始化S和X，令S为空集，X为数据集的所有特征；

步骤3：令式(2)中的X＝f_i，Y＝c，利用式(2)计算X中所有特征与类标签c的互信息I(f_i；c)；

步骤4：从X中取出与类标签具有最大互信息值的特征f_i，并放入S中；

步骤5：令式(4)中的X＝f_i，Y＝c，Z＝f_s，利用式(4)，先计算X中的特征与S中特征、类标签的条件互信息值，然后计算其平均值

步骤6：计算式(5)，从X中取出使式(5)取得最大值的特征，并放入S中；

步骤7：多次进行步骤5和步骤6，直到选取出N个特征，S为该算法选取的特征子集，|S|为特征子集的个数，当数据集的特征数大于50时，N取50；否则，N取数据集的特征数，特征放入S中的顺序即是该算法特征选择的顺序；

测试步骤如下：

步骤8：利用WEKA软件，对选取特征的性能进行测试；

步骤8.1：利用WEKA软件，选取S中的前1个、前2个、…、前N个特征；

步骤8.2：采用C4.5分类器和十折交叉验证方法对选取的特征进行实验；

步骤8.3：实验进行10次，取其平均值作为最终结果；

步骤8.4：将步骤8.2中的C4.5分类器换为只基于一个最近邻实例(Instance Base 1,IB1)分类器和朴素贝叶斯(Bayesian)分类器，进行步骤8.1、步骤8.2和步骤8.3。