[发明专利]一种微博突发事件检测方法

说明书

一种微博突发事件检测方法，包括步骤：降维处理：基于LSH算法对微博数据流中的词汇进行映射处理；创建B‑Sketch模型：创建微博数据流中的B‑Sketch数据；推测突发事件：根据B‑Sketch数据计算微博数据流中的事件加速率a和事件中词的分布向量p，根据事件加速率a判断事件是否为突发事件。由于通过LSH算法将所有词汇映射到低维空间，降低了计算的复杂度，并基于B‑Sketch模型推测隐含的突发事件，使得能够快速有效的实时处理微博数据流，及早地检测出突发事件。

技术领域

本发明涉及自然语言处理、文本数据挖掘、突发事件检测技术领域，具体涉及一种微博突发事件检测方法。

背景技术

微博，即微博客(MicroBlog)，是一种迷你型博客，可供用户写一段简短的文字(中文微博客平台一般为140个汉字)来描述日常生活或发布消息、评论时事并传递这些信息给好友或感兴趣的旁观者，发布方式可以是手机短信、即时通讯工具(IM)、邮件或网络。与即时通讯相比，用户可以指定发布的信息是公开还是只限于一个小网络内；与博客平台相比，用户的时间和精力投入更低，沟通速度更快，还有更高的更新频率。

互联网的发展使得微博的发布和获取变得更方便快捷，这直接导致了如下两个问题：第一，微博的数量规模巨大，通过人工的方式阅读所有信息是不可行的。第二，有价值的话题通常具有突发性，但这些话题被淹没在众多普通话题之中，如何从海量数据中找出具有突发性的事件是需要迫切解决的问题。因此使用计算机来处理微博数据，并自动获得其中的突发事件是很有必要的。

目前，基于微博的突发事件检测研究的很少，一般的研究是检测微博流中频率异常高的突发词，而后对突发词按照出现在同一微博中次数进行聚类来找到新事件，但是该方法还很难达到实用的地步。

目前，针对微博突发事件的检测方法具有以下的局限性：

1)一般都是离线模式，达不到在线实时处理的需求，处理的数据规模十分有限；

2)不能及早地探测到突发事件，表现出突发事件发现的滞后性，往往实用性极低；

3)对特征空间没有采取降维处理，往往会导致运行速度缓慢，耗费大量的内存空间。

发明内容

针对微博突发事件检测的局限性，本申请提供一种微博突发事件检测方法，包括步骤：

降维处理：基于LSH算法对微博数据流中的词汇进行映射处理；

创建B-Sketch模型：创建微博数据流中的B-Sketch数据；

推测突发事件：根据B-Sketch数据，计算微博数据流中的事件加速率a和事件中词的分布向量p，根据事件加速率a判断事件是否为突发事件。

依据上述实施例的微博突发事件检测方法，由于通过LSH算法将所有词汇映射到低维空间，降低了计算的复杂度，并基于B-Sketch模型推测隐含的突发事件，使得能够快速有效的实时处理微博数据流，及早地检测出突发事件。

附图说明

图1为本发明微博突发事件检测方法流程图。

具体实施方式

在本发明实施例中，提出一种微博突发事件检测方法，具体是，通过提出的B-Sketch模型作为突发事件推断的基础，并基于LSH算法降低计算的复杂度，使得本发明可以检测出更多突发事件，并且能够更加精确的定位突发事件真实的发生时间。

本例的微博突发事件检测方法包括如下步骤，其流程图如图1所示。

S1：去噪处理。