[发明专利]一种基于聚类和隶属度融合的改进型文本分类算法

摘要

本发明公开了一种基于聚类和隶属度融合的改进型文本分类算法，该算法将待分类文本和训练文本集中的训练文本用向量空间表示，通过聚类算法将各个类别中的训练文本聚类，并合并同一个簇内的训练文本，形成新的文本向量，利用新的文本向量与待分类文本向量进行计算，从而得到待分类文本与各个类别的相似度以及待分类文本隶属各个类别的程度，将两者相加，最大值对应的类别即为待分类文本的类别。聚类算法在不裁剪原始样本数量的基础上减少文本分类算法执行的时间复杂度，隶属度改进了待分类文本的分类判定方式，考虑训练文本密度对分类判定的影响，提高文本分类的准确率，本发明有效解决了文本分类的算法时间复杂度和分类准确率问题。

主权项

1.一种基于聚类和隶属度融合的改进型文本分类算法，其特征在于，包括如下步骤：步骤1，获取多个类别的训练文本，组成训练文本集；对待分类文本以及训练文本集中各训练文本进行分词，并对词进行预处理，预处理后提取文本特征词组成多维度空间向量，将待分类文本以及训练文本集中各训练文本用向量表示；步骤2，在步骤1的基础上，利用聚类算法对每个类别中的训练文本向量进行聚类，设定每个类别聚类形成的簇的数目相同；步骤3，将每个类别中同一个簇内的所有训练文本向量进行合并，得到新的文本向量，从而每个类别中新的文本向量的个数与步骤2设定的簇的数目相同；步骤4，计算待分类文本向量与步骤3得到的新的文本向量的相似度，并按相似度由大到小进行排序，选出相似度最大的前M个新的文本向量；将前M个新的文本向量中属于同一类别的文本向量的相似度相加，各个类别相加后的结果除以对应类别中新的文本向量的总个数，得到待分类文本与对应类别的相似度；步骤5，计算步骤3合并后每个类别的中心向量，以及每个类别中新的文本向量到中心向量的平均距离；计算待分类文本向量与每个类别的中心向量的距离，用上述平均距离除以该距离，得到待分类文本隶属各个类别的程度；步骤6，将步骤4得到的待分类文本与对应类别的相似度与步骤5得到的待分类文本隶属各个类别的程度相加，选出最大值，该最大值对应的类别即为待分类文本的类别。