[发明专利]一种基于社交网络短文本流的用户聚类和短文本聚类方法

摘要

本发明目的在于解决当前基于语义的用户聚类和短文本聚类方法中未考虑社交因素，“词义漂移”和短文本稀疏性问题。提出一种基于社交网络短文本流主题建模的用户聚类和文本聚类方法，包括下述步骤：S1、语料获取；S2、语料预处理；S3、基于社交网络中的短文本数据流主题建模；S4、推导及采样；S5、对用户进行聚类；S6、对短文本进行聚类。本发明综合考虑“词义漂移”，“短文本稀疏性”和“社交网络”三个影响主题建模的因素，解决通过社交网络短文本流分析用户和文本聚类缺失社交语义信息的问题，大大提高现有聚类算法的精度。

主权项

基于社交网络短文本流的用户聚类和短文本聚类方法，其特征在于，包括下述步骤：S1、语料获取，通过实现爬虫或社交网络平台公司开放的API获取该社交网络平台的语料库抑或通过自建社交网络系统收集用户语料；S2、语料预处理，包含分词，去停用词，提取词干和提取实体；S3、基于社交网络中的短文本数据流主题建模，针对语料中文本作者之间存在的社交关系，文本内“词义漂移”问题和短文本稀疏性问题，对语料中的文本进行主题建模，以抽取每个文本的主题；S4、推导及采样，根据已建立的概率图模型，推导该模型的主题联合概率分布，并以此作为吉布斯抽样的联合概率分布，最后抽样收敛时，统计用户和文本的主题分布；S5、对用户进行聚类，将得到的用户主题作为语料中用户的特征，并执行K‑Means聚类，得到用户聚类结果；S6、对短文本进行聚类，将得到的短文本主题作为短文本的特征，对执行K‑Means聚类，得到短文本聚类结果。