[发明专利]一种不平衡网络文本分类优化系统

权利要求书

1.一种不平衡网络文本分类优化系统，其特征在于，所述系统包括：。

数据输入单元，用于输入文本语料：TX＝{t₁,t₂,t₃,…,t_n}；输入投票级别：N；输入最小特征数：min；输入最大特征数：max；

中文分词处理单元，用于对TX进行中文分词，去掉没有意义的连词、介词和感叹词，得到CX＝{c₁,c₂,c₃,…,c_n}；

特征提取单元，用于进行特征提取；

模型分类单元，用于采用训练好的SVM分类器、朴素贝叶斯分类器和KNN分类器对特征提取的结果进行分类；根据投票级别：N，对分类后的结果进行判别；

结果输出单元，用于得到每条文本语料的分类结果TC＝{m₁,m₂,m₃,…,m_n}。

2.如权利要求1所述的不平衡网络文本分类优化系统，其特征在于，所述特征提取单元包括：

不均衡文本统计单元，用于对CX＝{c₁,c₂,c₃,…,c_n}中所有分词进行不均衡文本统计，得到每个分词统计后的对应的不均衡文本统计量：X_n1、X_n2、Y_n1和Y_n2；

特征概率处理单元，用于计算每个分词对应的特征概率值；

分类训练单元，用于从min值开始，获取前N个特征词，对文本语料进行N个特征词向量表示进行分类训练；

比较判断单元，用于对所有语料进行交叉验证，得出平均召回率，判断N值大小，直到N值大于max值，将结果发送给特征输出单元；

特征输出单元，比较所有分类效果，选择召回率最大时对应的N值作为结果进行输出。

3.如权利要求2所述的不平衡网络文本分类优化系统，其特征在于，所述分类训练单元包含：

特征词提取单元，用于从min值开始，获取前N个特征词；

SVM分类器，用于对特征词进行SVM分类；

朴素贝叶斯分类器，用于对特征词进行朴素贝叶斯分类；

KNN分类器，用于对特征词进行KNN分类。

4.如权利要求3所述的不平衡网络文本分类优化系统，其特征在于，所述比较判断单元包括：

交叉验证单元，用于对所有文本语料进行交叉验证，得到平均召回率；

判断单元，用于判断N值释放后大于max值。

5.一种不平衡网络文本分类优化方法，其特征在于，所述方法包括：

步骤S1：输入文本语料：TX＝{t₁,t₂,t₃,…,t_n}；输入投票级别：N；输入最小特征数：min；输入最大特征数：max；

步骤S2：对TX进行中文分词，去掉没有意义的连词、介词和感叹词，得到CX＝{c₁,c₂,c₃,…,c_n}；

步骤S3：进行特征提取；

步骤S4：采用训练好的SVM分类器、朴素贝叶斯分类器和KNN分类器对特征提取的结果进行分类；

步骤S5：根据投票级别：N，对分类后的结果进行判别；

步骤S6：得到每条文本语料的分类结果TC＝{m₁,m₂,m₃,…,m_n}。

6.如权利要求5所述的不平衡网络文本分类优化方法，其特征在于，所述步骤S3中进行特征提取的方法包括：

步骤S3.1：对CX＝{c₁,c₂,c₃,…,c_n}中所有分词进行不均衡文本统计，得到每个分词统计后的对应的不均衡文本统计量：X_n1、X_n2、Y_n1和Y_n2；

步骤S3.2：按照如下公式，计算每个分词对应的特征概率值为：

步骤S3.3：从min值开始，获取前N个特征词；

步骤S3.4：对文本语料进行N个特征词向量表示进行分类训练；

步骤S3.5：对所有语料进行交叉验证，得出平均召回率；

步骤S3.6：重复执行步骤S3.2-步骤S3.5，直到N值大于max值；

步骤S3.7：比较所有分类效果，选择召回率最大时对应的N值作为结果。