[发明专利]一种基于谱分解的自适应文档聚类方法及系统

权利要求书

1.一种基于谱分解的自适应文档聚类方法，其特征在于，包括：

步骤一：将待进行聚类的文档转换成文档向量并降维；

步骤二：根据降维后的文档向量构造稀疏矩阵；

步骤三：根据拉普拉斯矩阵计算，获得作为聚类数目依据的特征值和特征向量；

步骤四：确定聚类数目并将获得的特征矩阵进行归一化。

步骤五：通过迭代，实现文档聚类，并将聚类结果输出至用户端的可视化界面。

2.根据权利要求1所述的一种基于谱分解的自适应文档聚类方法，其特征在于，所述步骤一进一步为：

接收用户端输入的文档并对所述输入文档进行分词，所述分词采用计算机语言的第三方库对文档中的语句进行词语划分，并由此进一步获得分词后组成的词典；

所述降维通过停用词的过滤、近义词合并以及剔除低词频，进行文档向量维度的降低；

其中，所述文档向量的建立进一步为采用TF-IDF为N个文档建立文档向量，其中对于任意文档d_j的词语t_i，其对应的词频tf_ij、逆向文件频率idf_i如下：

其中，n_ij表示词语t_i在文档d_j中出现的频次，|SD|表示文档的总数N，|{j：t_i∈d_j}|表示包含词语t_i的文档数量；令

tfidf_ii＝tf_ij×idf_i

获得文档向量构成的矩阵A＝(tfidf_ij)_N×M，接着对文档进行进一步降维；其中对于词语t_i包含其文档数目为N_i，进一步得到一个向量(N_i，…，N_M)并对其从大到小进行排序，设定预定义的参数x，接着直接选取前M×x个分量保留，进而达到词向量压缩的效果；其最终得到的文档矩阵记为B＝(b_ij)_N×M。

3.根据权利要求1所述的一种基于谱分解的自适应文档聚类方法，其特征在于，所述步骤二进一步为：

根据步骤一中所述文档矩阵B构建稀疏对称相似矩阵S；其中文档矩阵B的每行向量均表示一个对应的文档，其中所述N表示文档数量；所述根据已有的文档矩阵B构造稀疏对称相似矩阵S，进一步为：

S＝(S_ij)_N×N

其中，b₁，…b_N中下标的数值表示文档矩阵B对应的一行，M表示自然数，N表示自然数，σ表示决定谱聚类效果的尺度参数，即：

其中，利用迭代计算任意两个文本TF-IDF向量之间的欧式距离，并将计算获得的距离值从高到低进行排序，然后选取其中前50％的距离值，求选取其中前50％的距离值的平均值，从而获得d_avg；

其中所述稀疏矩阵的构建为通过设定阈值对相似矩阵进行稀疏化处理，最终得到对称稀疏矩阵S，进一步为设定一个预定义的阈值m，当构建的文档向量矩阵中元素小于m时，则将其置为0。