[发明专利]基于关键词聚类的突发事件检测方法

说明书

本发明公开了一种基于关键词聚类的突发事件检测方法，收集预设时间窗口内在社交媒体中发布的各个文本数据并过滤，根据参考短语库得到保留文本的短语集合并筛选得到突发短语，对突发短语进行聚类得到突发短语簇，每个突发短语簇即为时间窗口内的一个突发事件，然后从保留文本集合中获取该突发短语簇对应的文本集合作为预训练语言模型的输入，将预训练语言模型输出的该文本集合的摘要作为突发短语簇所对应突发事件的事件总结，得到事件检测结果。本发明针对社交网络文本数据设计了一套完整并且高效的突发事件检测流程，实现对由社交媒体产生的短文本数据进行高效精确的突发事件检测。

技术领域

本发明属于短文本事件检测技术领域，更为具体地讲，涉及一种基于关键词聚类的突发事件检测方法。

背景技术

近些年来，诸如推特、微博等社交网络平台迅速发展，用户可以在这些平台上分享日常生活或者局部、全球新闻事件等。监测并且分析这些由用户产生的内容能够发现很多有价值的信息，帮助个人和组织机构获得第一手的咨询。

由于这些社交网络平台内容是由用户生成的，基于社交网络平台的突发事件检测方法面临着诸多挑战。首先是规模，以推特为例，每天大约有5亿条推文，平均每秒钟有6k条推文；其次是不规范，由于平台的限制，每条信息需限制在固定字数内，以推特为例，每条推文最多包含280个单词，因此用户在发布信息时，可能会使用简化符号，或者缩写，这给识别文本语义带来了困难；最后是噪音，作为分享型平台，用户会在平台上记录自己的生活，这些与事件无关的推文给事件检测带来了困难。

基于推文聚类与基于关键词聚类是进行突发事件检测的两种常用的方法，然而基于推文聚类的方法通常会带来较大的计算消耗，而关键词的选取对于基于关键词聚类的方法具有较大的影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种于关键词聚类的突发事件检测方法，实现对由社交媒体产生的短文本数据进行高效精确的事件检测。

为实现上述发明目的，本发明于关键词聚类的突发事件检测方法包括以下步骤：

S1：爬取预设时间窗口T内在社交媒体中发布的文本数据作为待进行突发事件检测的文本，根据预设的过滤规则对所收集的文本进行过滤，得到保留文本集合S；

S2：预先设置参考短语库，提取保留文本集合S所有文本中属于参考短语库的短语，构成保留文本集合S对应的短语集合A；

S3：分别计算短语集合A中的每个短语s的突发程度W_s，计算公式如下：

W_s＝p_s×log(u_s)×log(r_s)×log(log(f_s))

其中，p_s表示时间窗口T内关键短语s的突发概率，u_s表示时间窗口T内使用过关键短语s的用户数量，r_s表示时间窗口T内包含关键短语s的文本被转发的次数，f_s表示时间窗口T内使用关键短语s的用户的关注数目总和；

将所有短语按照突发程度从高到低进行排序，选择前K个关键短语作为突发短语加入突发短语集合B，K的值根据需要设置；

S4：将时间窗口T平均划分为M个连续不相交的子时间窗口，记第m个子时间窗口为T_m，m＝1,2,…,M，对于每个突发短语e，e∈B，统计每个子时间窗口T_m内包含该突发短语e的文本集合text(e,m)和文本数量f₁(e,m)，以及整个时间窗口T内包含该突发短语e的文本数量f₂(e)，计算每个突发短语e在子时间窗口T_m所占比例d(e,m)＝f₁(e,m)/f₂(e)；