[发明专利]基于最大间隔准则的网页文本分类系统

权利要求书

1.基于最大间隔准则的网页文本分类系统，其特征在于，包括：

文本预处理模块，用于对原始文本数据进行预处理并提取文本数据；

文本表示模块，用于结合文本的向量空间表示，计算特征项权重，对提取的文本数据进行表示；

特征项排序模块，用于基于最大间隔准则对特征项进行相关性排序；

文本分类模块，用于利用特征选择后的训练集文本构建分类模型，并利用所述分类模型对特征选择后的测试集文本进行分类；

所述结合文本的向量空间表示，计算特征项权重，对提取的文本数据进行表示，包括：

S11、结合文本的向量空间表示，选择词t作为文本的特征项；

S12、输入的文本语料库包含N个文档和M个特征项，从文本语料库中统计出文档频次矩阵和词频矩阵；

S13、特征项权重采用TF-IDF计算方法，得到文本的权重表示矩阵；

所述基于最大间隔准则对特征项进行相关性排序，包括：

S21、通过对文档频次矩阵进行统计，获得类别在特征项上的文档频率分布以及特征项在类别上的文档频率分布，构建最大间隔准则；

S22、通过最大间隔准则计算出文本语料库中每个特征项的判别相关性得分，按照得分降序排列得到特征项重要程度序列；

所述文本语料库中每个特征项的判别相关性得分MMC(t)的公式如下：

其中，C_i表示第i个类别，文本语料库共有k个类别；p(C_i|t)是特征项出现时类别C_i文档频率，是特征项出现时类别不是C_i文档频率，p(t|C_i)是属于C_i的文档中包含特征项t的文档频率，是不属于C_i的文档中包含特征项t的文档频率。

2.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述文档频次矩阵所述词频矩阵

其中，是第j个特征项在第i个文档中的文档频次，若特征项出现在该文档中则为1，否则为0；是第j个特征项在第i个文档中出现的次数。

3.如权利要求2所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述文本的权重表示矩阵为：

其中，N_j是第j个特征项在文本语料库中出现过的文档数量。

4.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，还包括：

分类性能评估模块，用于对分类模型进行性能评估。

5.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本分词。

6.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本清洗。

7.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本标准化。