[发明专利]一种用于网络内容安全管理的中文文本聚类的方法

摘要

本发明涉及一种全新的基于网络内容分析的文本聚类方法，通过基于密度的聚类思想来自动确定聚类数与聚类初始中心点，同时优化聚类数的收敛准则，降低聚类算法的复杂度，这样即可在整体样本库上确定聚类数与初始中心点，保证了聚类的全面性，避免了过多人为因素对聚类结果的影响，同时又能得到相对更高的聚类准度与效率。

主权项

1.一种用于网络内容安全管理的中文文本聚类的方法，其特征在于：它包括以下步骤：（1）、将文档集D={d1,d2,…,dn}中的每一个文档di作为一个具有单个成员的簇类Ci={di},这些簇类构成D的聚类C={c1,c2,…,cn}；（2）、采用下述方式计算两两簇对之间的欧式距离，形成文本向量之间的距离矩阵，两个向量之间的距离采用欧式距离:其中X=(xi1,xi2,…,xip)和Y=(yi1,yi2,…,yip)是两个P维的文本向量；（3）、根据得到的距离矩阵，采用下述方式计算出所有簇对之间的平均距离，记为R，同时Φ=2*R，计算样本之间的平均距离n为样本总数，是n个点中取两个点的组合数，是数据对象之间的距离；（4）、对每个簇类Ci={di}为中心，以R为半径作球，落在球内的点的个数为密度，计算每个点的密度；（5）、根据每个点的样本密度进行排序，找到最大密度的簇类记为C1；（6）、以簇C1为第一个聚类中心点，找出满足距离大于Φ的点，即|C2-C1|>Φ记为第2个聚类中心点，找到第3个点|C3-C1|>Φ记为第3个聚类中心点，如此循环直到找完整个文档集D={d1,d2,…,dn}为止，依此找到第k个聚类中心点，这样即可确定k的数目以及中心点Z1，Z2，…，Zk；（7）、把得到的K以及K个聚类中心Z1，Z2，…，Zk作为K-means算法的初始中心，采用聚类k-means算法迭代，直到K个聚类中心不再发生变化为止，这样得到K个聚类。