[发明专利]基于知识图谱的自动化事件标记与分类方法

说明书

本发明公开了一种基于知识图谱的自动化事件标记与分类方法，构建所需的领域类别的知识图谱，爬取预设时间窗口内的社交媒体中发布的各个文本数据，提取关键短语并筛选得到突发短语，对突发短语进行聚类得到突发短语簇，每个突发短语簇即为时间窗口内的一个突发事件，然后计算突发事件对应突发短语在各个知识图谱上的TF‑IDF得分，求和得到突发事件在各个知识图谱上的TF‑IDF得分，如果大于预设阈值，则将对应事件标记为该领域类别，从而确定事件的标记和分类。本发明通过对社交媒体中文本数据进行突发短语筛选和聚类，自动确定突发事件，然后再计算突发事件在各个领域类别知识图谱上的TF‑IDF得分，实现对社交媒体事件的自动化精确标记与分类。

技术领域

本发明属于事件标记与分类技术领域，更为具体地讲，涉及一种基于知识图谱的自动化事件标记与分类方法。

背景技术

近年来，随着社交媒体的迅速发展，推特、微博等社交媒体逐渐成为人们获取新闻信息的重要途径。因此，越来越多的工作开始关注社交媒体信息并对其进行分析，其中一类比较重要的工作就是社交媒体数据的事件抽取工作，即根据社交媒体数据抽取出其所描述的事件。但是对于抽取出的事件(事件关键短语、摘要等)，难免会出现一些并不关注的事件，因此需要对抽取出的事件进行标记与分类(军事、政治、地理等若干类别)，得到每个事件所属的类别，从而过滤掉不关注类别的事件，筛选出感兴趣的事件。但是如何根据描述事件的少量信息精确获取其类别，以及如何解决某个事件可能同属于多个类别的问题，暂未有较好的解决方式，都是需要进一步研究和解决的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于知识图谱的自动化事件标记与分类方法，实现对社交媒体事件的自动化精确标记与分类。

为实现上述发明目的，本发明基于知识图谱的自动化事件标记与分类方法包括以下步骤：

S1：根据实际需要设置N个领域类别，分别收集每个领域类别的文本数据并构建知识图谱G_n，n＝1,2…,N；

S2：预设时间窗口T，爬取该时间窗口内社交媒体中发布的各个文本数据，对每个文件数据进行关键短语提取，将所提取到的关键短语构成关键短语集合A。分别计算关键短语集合A中的每个关键短语s的突发程度W_s，计算公式如下：

W_s＝p_s×log(u_s)×log(r_s)×log(log(f_s))

其中，p_s表示时间窗口T内关键短语s的突发概率，u_s表示时间窗口T内使用过关键短语s的用户数量，r_s表示时间窗口T内包含关键短语s的文本被转发的次数，f_s表示时间窗口T内使用关键短语s的用户的关注数目总和；

将所有关键短语按照突发程度从高到低进行排序，选择前K个关键短语作为突发短语加入突发短语集合B；

S3：将时间窗口T平均划分为M个连续不相交的子时间窗口，记第m个子时间窗口为T_m，对于每个突发短语e，e∈B，统计每个子时间窗口T_m内包含该突发短语e的文本集合text(e,m)和文本数量f₁(e,m)，以及整个时间窗口T内包含该突发短语e的文本数量f₂(e)，计算每个突发短语e在子时间窗口T_m所占比例d(e,m)＝f₁(e,m)/f₂(e)；