[发明专利]一种基于术语频率和卡方统计的文本分类特征选择方法

说明书

技术领域

本发明属于文本挖掘与信息检索领域，具体涉及的是一种基于术语频率和卡方统计的文本分类特征选择方法。

背景技术

文本分类(Text Classification或Text Categorization)是预先设定的类别集合，根据文本内容确定文本所属类型。在文本分类中，通常用向量空间模型作为文本的表示模型，该模型是应用效果最好的文本表示模型之一；文本中的词或词组作为特征，但是在大量的特征中，存在很多冗余特征和噪声特征，而庞大的特征空间维数会降低分类器的性能和泛化能力，产生“过学习”现象。同时，处理高维向量需要极高的时间复杂度，进而会产生“维数灾难”。因此，我们需要通过特征降维，来提高分类器的效率和精度，特征降维分为特征选择和特征提取。

特征选择是目前最常用的降维方法，其本质是从一个高维空间根据某种准则变换到一个较低维的空间，并且使得该低维空间有比较好的类别可分性，从而提高分类器的分类效率和精度。比较常用的特征选择方法主要有文档频率(document frequency，DF)、互信息(mutual information，MI)、期望交叉熵(expected cross entropy，ECE)、卡方统计(Chi-square statistic，CHI)、信息增益(information gain，IG)等；近年来国内外学者还提出了其他的特征选择方法，例如，张玉芳等人提出了综合比率(CR)方法，通过把数据集分成正类和负类，综合考虑特征项在正类和负类中的分布，结合四种衡量特征类别区分能力的指标，构造了CR特征选择方法来选择特征；冯霞等人提出了基于假设检验的选择方法，利用特征与文档类在term-category四格表中相互独立与互不相关等价的性质来选择特征。美国卡内基梅隆大学的Yang教授针对文本分类问题，在分析比较了DF、MI、IG、CHI等方法后，得出IG和CHI方法分类效果相对较好的结论，并且，CHI和IG在多次的实验中表现出了良好的准确性。但是上述这些特征选择方法都具有缺陷，比如卡方统计方法对低频词的倚重大，不能很好地过滤低频词中的噪音词。

发明内容

我们通过分析发现，现有卡方统计方法只考虑了特征词的文档频率，并没有考虑特征的术语词频，所以夸大了低频术语的作用。例如传统卡方统计方法只统计文档中是否出现术语t，并没有考虑术语t在文档中出现的次数，致使传统方法更倾向于选择文档频率高的特征，忽略了文档频率较低但是词频较高的词汇的贡献度，此外，传统卡方统计方法没有考虑术语的分布差异度的问题。基于上述问题，本发明公开了一种基于术语频率和卡方统计的文本分类特征选择方法，利用最大术语频率来修正传统卡方统计方法对术语频率低但文档频率高的术语的偏袒；同时利用平均术语频率和统计学上的标准方差的方法，来修正传统卡方统计方法未考虑分布差异度的缺陷。

为了达到上述目的，本发明提供如下技术方案：

一种基于术语频率和卡方统计的文本分类特征选择方法，包括如下步骤：

步骤(1)，对语料库数据集进行预处理；

步骤(2)，对经过步骤(1)处理得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合D＝{d₁,d₂,...d_N}，类标签集合C＝{c₁,c₂,...c_|C|}，d_j表示语料库数据集中的一个文档(1≤j≤N)，c_k表示语料库数据集中的一个类；

步骤(3)，计算术语t_i在文本分类c_k中的最大术语频率和平均术语频率

步骤(4)，通过下式计算术语t_i在c_k类中的分布差异度:

其中，α表示一个很小的实数；

步骤(5)，利用步骤(3)和步骤(4)得到的最大术语频率及分布差异度，通过下式计算该术语t_i在c_k类中的权重：

其中，

步骤(6)，计算得到该术语t_i在每个类中的权重，通过下式得到术语t_i在语料库数据集中的权重：

步骤(7)，计算得到每一个术语在语料库数据集中的权重，并降序排列，选出值最大的前N个术语作为特征。