[发明专利]基于信息增益与最大相关最小冗余二阶段特征选择方法

权利要求书

1.基于信息增益与最大相关最小冗余二阶段特征选择方法，其特征在于，包括以下步骤：

1)利用信息增益算法初步选取特征词，得到特征词子集，

其中，利用信息增益算法初步选取特征词具体为：

特征词w_i的信息增益IG(w_i)计算如下：

其中，m表示文本类别总数，C_t表示第t类文本，P(C_t)表示C_t类文本在总文本中出现的概率，P(w_i)表示包含特征词w_i的文本在总文本中出现的概率，P(C_t|w_i)表示文本包含特征词w_i并且属于C_t类的条件概率，表示不包含特征词w_i的文本在总文本中的概率，表示文本不包含特征词w_i但属于C_t类的条件概率，log(·)表示以2为底的对数，表示对表达式求和；

按信息增益从大到小选取信息增益最大的部分特征词，得到特征词子集；

2)计算步骤1)得到的特征词与文本类别之间的互信息值，

其中，计算步骤1)得到的特征词w_i与文本类别集合C之间的互信息值，具体为：

特征词w_i与文本类别集合C之间的互信息值I(w_i；C)为

式中，m表示文本类别总数，C_t表示第t类文本，P(w_i,C_t)表示C_t类文本中包含特征词w_i的概率；表示C_t类文本中不包含特征词w_i的概率；P(w_i)表示包含特征词w_i的文本在总文本中出现的概率；表示不包含特征词w_i的文本在总文本中出现的概率；P(C_t)表示C_t类文本在总文本中出现的概率；

3)计算特征词之间的互信息值，具体为：

特征词w_i和特征词w_j之间的互信息值I(w_i；w_j)为：

式中，P(w_i,w_j)表示同时包含特征词w_i和特征词w_j的文本在总文本中出现的概率，其中i≠j；表示包含特征词w_i且不包含特征词w_j的文本在总文本中出现的概率；表示包含特征词w_j且不包含特征词w_i的文本在总文本中出现的概率；P(w_i)表示包含特征词w_i的文本在总文本中出现的概率；P(w_j)表示包含特征词w_j的文本在总文本中出现的概率；表示不包含特征词w_i的文本在总文本中出现的概率；表示不包含特征词w_j的文本在总文本中出现的概率；表示既不包含特征词w_i又不包含特征词w_j的文本在总文本中出现的概率；

4)计算特征词的类差分度，具体为：

特征词w_i的类差分度为：

式中，β_t表示特征词w_i在C_t类中的类差分度；AC表示特征词w_i的类间离散度；DC_t表示特征词w_i在C_t类中的类内耦合度；f_t(w_i)表示在C_t类中包含特征词w_i的文本数；表示包含特征词w_i的文本在每个类别中的平均数；n表示属于C_t类的文本总数；g_p(w_i)表示特征词w_i在C_t类第p篇文本中的词频数；表示在C_t类所有文档中特征词w_i的平均词频数，m表示文本类别总数；

5)计算特征词的类差分度差值，具体为：

计算特征词w_i的类差分度差值α：

式中，β_max1,β_max2分别表示特征词w_i的类差分度最大值以及次大值，AC表示特征词w_i的类间离散度，DC_min1,DC_min2分别表示特征词w_i的类内耦合度最小值以及次小值，λ为常数；

6)将类差分度差值引入最大相关最小冗余MRMR算法进行二阶段特征词选取，具体为，

选取第k个特征词的公式为：

式中，α表示特征词w_i的类差分度差值；I(w_i；C)表示特征词w_i与文本类别集合C之间的互信息值；D₁表示通过信息增益初步选取的特征词子集；S_k-1表示二阶段特征已选择的特征词子集，其中k-1表示已选择的特征词个数；I(w_i；w_j)表示特征词w_i和特征词w_j之间的互信息值；表示对表达式求最大值。