[发明专利]基于主题的社交媒体短文本在线聚类方法

权利要求书

1.基于主题的社交媒体短文本在线聚类方法，其特征在于，包括：

S1、对输入的训练文本进行预处理，包括分词、去除停止词、词性识别、命名实体识别；

S2、采用预聚类将经步骤S1预处理后的训练文本聚合为长文本；

S3、对步骤S2得到的长文本训练集进行LDA训练，训练完成后统计文本-主题概率分布和主题-词语概率分布；

S4、对输入的待分类文本，采用朴素贝叶斯算法进行预测。

2.根据权利要求1所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，步骤S2具体包括以下分步骤：

S21、根据步骤S1预处理结果构建文本向量；

S22、计算该文本向量与所有类别中心的余弦相似度；

S23、若最大余弦相似度大于第一阈值，则将该短文本加入最大余弦相似度对应的类别中；否则作为新类别。

3.根据权利要求2所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，步骤S3所述的LDA训练采用吉布斯采样求解。

4.根据权利要求3所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，步骤S4具体为：根据步骤S3得到的主题-词语概率分布，采用朴素贝叶斯算法计算得到待分类文本对应的各主题下的分布概率值，若所有主题下的分布概率值均小于第二阈值，则判断该待分类文本为新文本；否则判断该待分类文本的主题为最大分布概率值所对应的主题。

5.根据权利要求3所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，步骤S4具体为：根据步骤S3得到的主题-词语概率分布，采用朴素贝叶斯算法计算得到待分类文本对应的各主题下的分布概率值，找出最大的分布概率值，若该最大分布概率值大于或等于第二阈值，则判断该待分类文本的主题为最大分布概率值所对应的主题，否则断该待分类文本为新文本。

6.根据权利要求4或5所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，若待分类文本中某个词语未在训练文本集中出现，则采用平滑处理，将该词语在某主题下的分布概率值等于该主题下最小主题-词语分布概率值的一半。

7.根据权利要求6所述的基于主题的社交媒体短文本在线聚类方法，其特征在于，当待分类文本为新文本时，将该新文本加入待训练数据集。