[发明专利]一种基于改进的Single‑pass聚类算法的微博话题检测方法

说明书

技术领域

本发明涉及话题检测技术领域，尤其涉及一种基于改进的Single-pass聚类算法的微博话题检测方法。

背景技术

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，其包含三层结构：词语、主题和文档。生成模型就是认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样的一个过程得到。用公式(1)表示该过程：

P(词语|文档)＝∑_主题P(词语|主题)*P(主题|文档)(1)

在LDA模型中需要求解“词语-主题”和“主题-文档”两个模型参数，其概率主题模型的概率图如图1所示。

在图1中，表示带有超参数β的多项式概率分布的“主题-词语”概率模型，θ表示带有超参数的α多项式概率分布的“文档-主题”概率模型。其中K表示主题个数，M为文档个数，N为文档的词语长度。LDA生成文档的过程是：从文档-主题概率模型θ中选择一个主题Z，在主题-词语对应的概率模型中选择词语w，不断重复次数Nm，直到生成全部文档集合；LDA模型最关键的是学习θ和这两个参数。

如图2所示，Single-pass是增量聚类算法，其按一定顺序依次读取数据，每次读取到的新数据都将和已经读取且聚类好的每个数据进行相似度比较，如果满足预定的规则即将该新数据加入和其比较的数据类别中，否则将该新数据视为一个新的类别。依照此方法反复执行，直到所有的数据都读取完毕则停止。整个过程只对数据进行一次读取。

国内对微博话题检测也有一些研究，郑斐然使用基于向量空间模型的方法检测微博中出现的关键词，然后通过计算词语词频和词频的增长速度，来综合判断某一个词语是否是新闻词语，最后通过聚类方法寻找新闻话题；谢岚从微博的传播阶段进行研究，认为传统的媒体与微博的传播模式不同，微博的传播阶段可以分为三个：第一、人与人直接的初级传播，第二、非正式组织直接的传播，第三、传播到网络大众媒体，被网络大众媒体进行更深更远的传播；浙江大学的张晨逸在分析微博的文本模型表达上提出了MB-LDA模型对微博主题进行挖掘研究；孙胜平结合向量空间摸型和增量聚类算法，提出了Single-pass聚类算法。

现有的微博话题检测技术对话题检测的缺点是不能有效识别本身为两个相似的事件为两个事件，即原有的话题检测对两个事件相似事件归为同一事件，例如：事件一为“2014年10月10日，NBA季前赛，洛杉矶湖人队主场负于金州勇士队”；事件二：“2014年10月13日，NBA季前赛，洛杉矶湖人队主场负于金州勇士队”。尽管事件一和事件二发生的地点和对象相同，内容也都是关于篮球比赛，不过它们发生的时间是不同的。在语义上说的也是两件事，而计算机的检测时把这两件事按同一件事处理。同时现有的Single-pass话题检测时只能一条一条的输入分类，而且每一次的新数据都要和已聚类的每一条数据进行计算，这一点在效率和准确度上都很差。

发明内容

针对上述问题中存在的不足之处，本发明提供一种基于改进的Single-pass聚类算法的微博话题检测方法。

为实现上述目的，本发明提供一种基于改进的Single-pass聚类算法的微博话题检测方法，包括：

步骤1、微博文本内容采集；

步骤2、文本预处理，所述文本预处理包括去除噪声干扰、去除少于10个字的微博内容、词干还原、文本分词和去除停用词；

步骤3、基于LDA建立文本向量模型；

步骤4、基于改进的Single-pass聚类算法对文本向量模型进行文本聚类，包括：

步骤41、向文本向量模型中增加文本的时间参数；

步骤42、将文本数据分批聚类成小话题类别，计算每批数据中每个小话题类别的聚类中心点，将所有小话题类别聚类成大话题类别；

所述聚类的方法为进行聚类中心点的相似度计算，判断其是否大于相似度阈值；若小于相似度阈值，则自成一类，若大于相似度阈值，则进行时间阈值判断；若大于时间阈值，则自成一类，若小于时间阈值，则将新数据归于该类；

步骤5、结果评测。

作为本发明的进一步改进，在步骤1中，微博文本内容采集包括：

通过爬虫技术访问微博网站页面爬取微博信息和来自于自然语言处理与信息检索共享平台发布的NLPIR微博内容语料库。

作为本发明的进一步改进，相似度计算采用余弦相似度算法。

作为本发明的进一步改进，在步骤43中，时间阈值为2天。

与现有技术相比，本发明的有益效果为：