[发明专利]一种优化训练样本集的KNN文本分类方法

权利要求书

1.一种优化训练样本集的KNN文本分类方法，其特征在于，如下步骤：

(1)对训练用文本数据和待分类文本数据进行文本预处理；

(2)将预处理后的训练用文本数据和待分类文本数据分别进行文本表示；

(3)对文本表示的训练用文本数据和待分类文本数据分别利用遗传算法进行特征提取；

(4)对提取的训练用文本数据特征进行分类训练，使用经过优化样本集的KNN算法进行训练分类，构造文本分类器；

(5)将文本分类器作用于特征提取后的待分类文本数据，得到待分类文本数据的分类结果。

2.根据权利要求1所述的一种优化训练样本集的KNN文本分类方法，其特征在于，所述步骤(2)中，文本表示是指将预处理后的结构化文本数据转化为向量空间模型表示，具体步骤如下：

(21)使用TF_IDF法分别计算训练用文本数据和待分类文本数据中每个特征词的权重，计算公式为：

wi(dj)=tfij×log2(NNi+0.01)Σk=1n(tfkj)2*[log2(NNk+0.01)]2,]]>

其中，tf_ij表示的是第i个文本特征词在文本(训练用文本数据或待分类文本数据)d_j中出现的频率数目，N是文档(训练用文本数据或待分类文本数据)的总数目，N_i是指文档(训练用文本数据或待分类文本数据)集合中出现第i个文本特征词的文本数目，n为文本特征抽取时所选用的文本特征词数目，k为求和公式起点到终点的取值，从1开始计算到n，tf_kj表示的是第k个文本特征词在文本d_j中出现的频率数目；

(22)将计算出的训练用文本数据和待分类文本数据特征词权值分别表示为向量，具体表示为，

v(d_i)＝(w₁(d_i),w₂(d_i),...,w_n(d_i))，

其中，n表示文本特征提取所用的文本特征词数目,w_j(d_i)表示第j个文本特征词在文档(训练用文本数据或待分类文本数据)d_i中的权值，j为1到n的任意值；

(23)计算训练用文本数据特征的平均互信息值MI_avg(w)，计算公式为：

MIavg(w)=Σi=1mP(ci)MI(w,ci),]]>

其中，P(w∧ｃ_i)表示训练样本集中既属于特征词w又属于类别c_i的概率，P(w)表示包含特征词w在训练用文本数据中出现的概率，P(c_i)表示训练用文本数据中属于类别c_i的文本数据的概率,MI(w,c_i)表示单个类别下的互信息值，MI_avg(w)为平均互信息值；

(24)将训练用文本数据的特征平均互信息值加入到步骤(22)训练用文本数据向量表示的最后一维度，具体表示为，

v(d_i)＝(w₁(d_i),w₂(d_i),...,w_n(d_i),MI_n+1(d_i))

，

其中，n表示文本特征提取所用的特征词数目，w_j(d_i)表示第j个文本特征词在文档d_i中的权值，MI_n+1(d_i)表示特征的平均互信息值，j为1到n的任意值。