[发明专利]一种基于全覆盖粒计算的K‑medoids文本聚类方法

权利要求书

1.一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于包括下述内容：

(1)对文本进行预处理，包括中文分词，去停用词；

(2)对文本进行特征提取，设置高频词与低频词阈值，滤除区分度不够的高频词和代表性不强的低频词，然后利用TF-IDF算法建立词向量空间模型；

(3)对文本进行聚类，首先利用Single-Pass对文本进行粗聚类，利用全覆盖粒计算理论的粒度重要性概念计算初始聚类中心候选集，然后基于密度算法和最大最小距离算法计算初始聚类中心，最后利用k-medoids算法进行文本聚类。

2.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行特征提取中的滤除区分度不够的高频词和代表性不强的低频词，具体操作包括以下步骤：假设词j的频率为m，M₁为低频词频率，M₂为高频词频率，若M₁<m<M₂则保留该词，否则剔除，达到降维的目的。

3.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行聚类中的single-pass粗聚类，包括以下步骤：

(1)从文档集n中输入第一篇文档d₁作为第一类中的中心，n为正整数；

(2)输入第二篇文档与第一篇文档做相似性处理，得到相似结果θ，若θ＞σ，则第二篇分到第一类中并重新计算中心，否则第二篇作为新的一类；

(3)输入第i篇文档，分别与已有类别中的中心文档做相似性处理，得到与d_i相似度最大的类别m且记录相似结果θ，若θ＞σ，则d_i分配到类别m中并重新计算中心，否则成为新的一类；

(4)重复第三步，直至最后一篇文档分配类别，即整个聚类过程结束。

4.根据权利要求1所述的一种基于全覆盖粒计算的K-medoids文本聚类方法，其特征在于对文本进行聚类中的全覆盖粒计算理论的粒度重要性概念，具体如下：

设是非空论域_U上的一个全覆盖，全覆盖P＝{C_j:j＝1,…,n}，定义粒G_x的中心、全覆盖粒C的中心、P的全覆盖粒度熵分别为：

center_C(x)＝∩{N_C(x)|x∈N_C(x),N_C(x)∈G_x}

center(C)＝{center_C(x)|x∈U}

I(P)=Σx∈U1|U|(1-|centerP(x)||U|)=1-1|U|2Σx∈U|centerP(x)|]]>

SigC-Ci(Ci)=I(C)-I(C-Ci)]]>

其中，|center_P(x)|表示center_P(x)的基数。

基于上述全覆盖粒计算模型的相关基础概念，定义全覆盖平均粒度重要性，设C＝{C_i:1,...,m}是非空论域U上的一个全覆盖，定义平均粒度重要性为:

Sig(C)‾=1mΣi=1mSigC-Ci(Ci).]]>