[发明专利]一种提取文本模型特征进行分类算法

摘要

本发明提供一种提取文本模型特征进行分类算法，该算法对文本模型的训练数据通过计算第一阶段权值后，将第一阶段权值进行计算在文本模型训练数据中获得特征在新、旧数据分布，再次计算获得第二阶段权值，最后将第二阶段权值以小到大的顺序获得对文本模型分类，获得目标特征；该算法对文本模型提取到的特征既不过于倾向于训练数据中的旧数据，也不单纯从训练数据中的少量新数据中获得，能够取得较好的分类效果。

主权项

一种提取文本模型特征进行分类算法，包括如下步骤：第一，对文本模型的训练数据采用信息增益算法(IG，Information Gain)获得特征的权值其算法为：$\mathrm{IG}\left(t\right)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P\left(C_i\right)\log P\left(C_i\right)+P\left(t\right)\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P\left(C_i\right|t)\log P\left(C_i\right|t)+P\left(\stackrel{\‾}{t}\right)\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P\left(C_i\right|\stackrel{\‾}{t})\log P\left(C_i\right|\stackrel{\‾}{t})$公式(1)公式(1)中，P(C_i)为类别C_i包含文本数与文本总数的比值，P(t)为包含特征t的文本数与文本总数的比值，P(C_i|t)为出现特征t时文本属于C_i的概率，为不含特征t的文本数与文本总数的比值，为不出现特征t时文本属于C_i的概率；第二，将步骤一获得的权值IG进行排序，提取第一阶段α*K个特征；第三，将第一阶段α*K个特征采用公式(2)和(3)计算特征t在文本模型的训练数据中新数据、旧数据的分布情况，获得：w_same(t,C_same)＝f(t,C_same)*n(t,C_same)/N(C_same)    (2)w_dif(t,C_dif)＝f(t,C_dif)*n(t,C_dif)/N(C_dif)    (3)其中，C_same和C_dif分别表示训练数据中的新、旧数据，f(t,C_same)和f(t,C_dif)分别表示特征t在新、旧数据中出现的次数，n(t,C_same)和n(t,C_dif)分别表示新、旧数据中出现特征t的文本数，N(C_same)和N(C_dif)分别为新、旧数据中的文本总数，w_same(t,C_same)和w_dif(t,C_dif)分别表示特征t在新、旧数据中的分布；第四，将步骤三中特征t在新、旧数据中的分布，采用公式(4)计算特征t的最终的权值，提取第二阶段α*K个特征：max{w_same(t,C_same),w_dif(t,C_dif)}/min{w_same(t,C_same),w_dif(t,C_dif)}    (4)第五，依次循环步骤二到步骤四，不断提取第二阶段α*K个特征；第六，对步骤五获得第二阶段第二阶段α*K个特征按权重从小到达进行排序，选取权重最小K个特征完成文本模型分类。