[发明专利]基于突发词检测和过滤的微博突发话题检测方法

权利要求书

1.一种基于突发词检测和过滤的微博突发话题检测方法，其特征在于，该方法包括：

(1)基于词突发值计算的突发词检测：根据分词结果计算词在一个时间片的突发值，在一个时间片内，获取一个词的累计词频、词频最高的词的词频、包含这个词的文档和时间片内总文档数，并计算词的累计词频与最高词频的比值、包含词的文档数与总文档数比值，对两个比值进行加权处理，以输出词的基本权重，计算词累计词频的增长速度作为突发权重，其中，词的累计词频表示当前时间片内所有文档中，词出现的累计次数，对两个权重加权求和计算出突发值，

(2)基于突发值指数平均值的伪突发词识别：计算词在不同长度时间段内的突发值的指数平均值，计算两个指数平均值的差值，再次计算差值在一个时间段内的指数平均值，比较两个结果的大小确定词突发值的变化趋势，以此识别伪突发词，

(3)基于话题关键字和突发词相似度的突发话题识别：使用主题模型与聚类算法结合的方法来检测时间片内的话题，使用主题模型计算当前时间片内的文本的主题分布；对当前时间片内的文本，通过聚类算法比较文本之间的余弦相似度得到聚类结果，每一个类是一个话题；选取每个话题文本中累计词频最高的三个词为关键词；当一个话题的关键词包含当前时间片的突发词时，这个话题是突发话题。