[发明专利]一种基于优化TFIDF的特征提取方法及系统

权利要求书

1.一种基于优化TFIDF的特征提取方法，包括对文本进行分词处理并计算TF和IDF值的权重值，其特征在于，还包括以下步骤：

步骤1：记录所有类文档总数和一个类的文档总数，计算类别分布因子，所述类别分布因子的计算公式为，其中，为类中所有文档的数量，N为文本语料库中文本的总数；

步骤2：记录一个类中包含特征词的文档数和所有类中包含相同特征词的文档数，计算类间分布因子，所述类间分布因子的计算公式为，其中，为类中包含特征词的文本个数，为所有包含特征词的文本个数；

步骤3：分别计算每个文档中特征词出现位置的方差值，求取相同特征词的方差值之和，计算方差分布因子，所述方差分布因子的计算公式为，其中，表示特征词在第个文本中的方差值，m表示文本总个数；

步骤4：对所述TF和IDF值的权重值、所述类别分布因子、所述类间分布因子和所述方差分布因子进行归一化计算，得到优化后的权重值。

2.如权利要求1所述的基于优化TFIDF的特征提取方法，其特征在于，所述对文本进行分词处理并计算TF和IDF值的权重步骤包括以下子步骤：

步骤01：选择数据集并使用结巴分词对文本进行分词处理；

步骤02：读取停用词文件，去除停用词；

步骤03：读取每个文本的每个特征词个数及总数，计算包含特征词的文档个数和文档总数，计算TF和IDF值的权重值，所述TF和IDF值的权重值的计算公式为

其中，为特征词在文本中的权重值，，为特征词在文本中出现的频率，为特征词的文本数量关于总文本数量逆文档频率，表示文本中特征词出现的次数，表示文本中第k个特征词出现的次数，N为文本语料库中文本的总数，n为文本语料库中包含特征词的文本数，k为一个文本中特征词的编号，j为文本编号。

3.如权利要求2所述的基于优化TFIDF的特征提取方法，其特征在于，对所述TF和IDF值的权重值进行归一化处理，公式为。

4.如权利要求3所述的基于优化TFIDF的特征提取方法，其特征在于，总体方差的计算公式为，其中，表示特征词在文档中出现的位置，表示总体均值，n3表示特征词在文档中出现的总个数。

5.如权利要求4所述的基于优化TFIDF的特征提取方法，其特征在于，所述步骤4包括根据所述类别分布因子、所述类间分布因子和所述方差分布因子，计算得到改进权重TFIDF-CV，公式为

其中，n为文本语料库中包含特征词的文本数，m表示文本总个数。

6.如权利要求5所述的基于优化TFIDF的特征提取方法，其特征在于，所述优化后的权重值的公式为。

7.一种基于优化TFIDF的特征提取系统，包括用于对文本进行分词处理并计算TF和IDF值的权重值的文本处理模块，其特征在于，还包括以下模块：

类别分布因子计算模块：用于记录所有类文档总数和一个类的文档总数，计算类别分布因子，所述类别分布因子的计算公式为，其中，为类中所有文档的数量；

类间分布因子计算模块：用于记录一个类中包含特征词的文档数和所有类中包含相同特征词的文档数，计算类间分布因子，所述类间分布因子的计算公式为，其中，为类中包含特征词的文本个数，为所有包含特征词的文本个数；

方差分布因子计算模块：用于分别计算每个文档中特征词出现位置的方差值，求取相同特征词的方差值之和，计算方差分布因子，所述方差分布因子的计算公式为，其中，表示特征词在第个文本中的方差值，m表示文本总个数；

归一化计算模块：用于对所述TF和IDF值的权重值、所述类别分布因子、所述类间分布因子和所述方差分布因子进行归一化计算，得到优化后的权重值；

所述系统采用如权利要求1所述的方法进行特征提取。