[发明专利]一种基于主题词的社交媒体事件主题识别方法

权利要求书

1.一种基于主题词的社交媒体事件主题识别方法，其特征在于，包括以下步骤：

S1、对社交媒体文本进行降噪处理；

S2、计算词和事件关于主题的分布向量；具体实现方法为：

事件关于主题的分布为：给定预定义的主题集合T＝{t₁,t₂...t_n}，同时给定人工标注的训练集合S＝{(e₁,t₁),(e₂,t₂)...(e_n,t_n)}，其中e表示事件簇所包含的所有推文集合，t表示人工对事件簇标记的事件主题，由集合S计算出的所有事件关于主题t的分布V(t)；

词关于主题的分布为：给定预定义的主题集合T，训练集合S，由集合S计算出的词关于主题t的分布W(t)，其中W(t)表示每个词在话题集合T中的分布向量；

由上述关于词的主题分布的定义，得到词的分布向量的计算过程如下所示：

其中count(w,t_i)表示单词w在t_i下的频数，count(w)表示w在所有话题下的出现总次数；

由上述关于事件的主题分布的定义，得到事件的分布向量的计算过程如下所示：

其中，count(e,t_i)表示主题t_i下事件的频数，count(e)表示在所有主题下e的总出现频数；

S3、提取社交媒体文本中事件主题词；

S4、构建基于主题词的贝叶斯推断模型。

2.根据权利要求1所述的一种基于主题词的社交媒体事件主题识别方法，其特征在于，所述步骤S1包括以下子步骤：

S11、停止词去除；

S12、词干提取和词形还原；

S13、使用Jaccard系数合并形近词；Jaccard系数用于衡量两个集合的相似性，给定两个集合A、B，Jaccard系数定义为：

通过将两个单词word₁与单词word₂分别看作字符的集合，分别将其分解为字符的集合w₁和w₂，定义两个单词的Jaccard系数为J(w₁,w₂)；设置词的相似性阈值为J_min，即若单词的相似度J(w₁,w₂)≥J_min，则认为两个单词为同一个正确单词的错误拼写形式，将这些词视为同一个词。

3.根据权利要求1所述的一种基于主题词的社交媒体事件主题识别方法，其特征在于，所述步骤S3具体实现方法为：使用相对熵KL散度来作为主题词的判断依据；

定义事件主题词如下：一个词是事件主题词必然满足下述条件：

其中，KL_min表示预设的主题词筛选阈值，W(t)表示每个词在话题集合T中的分布向量，V(t)表示由集合S计算出的所有事件关于主题t的分布向量。

4.根据权利要求1所述的一种基于主题词的社交媒体事件主题识别方法，其特征在于，所述步骤S4具体实现方法为：通过对社交媒体文本的统计分析，计算出每个词关于主题的分布，根据最大似然估计的角度，使用p(t/w)表示单词w能够区分事件主题t的概率；通过聚合每个事件簇中所有的推文，把所有推文文本进行预处理，然后使用主题词提取算法提取出文本中包含的所有主题词；

定义事件主题分类任务为：在给定事件的推文簇C_tweets(e)后，通过使用预处理技术得到其中所有的单词集合W_words(e)，然后利用主题词提取算法得到主题词集合C_words(e)，最后计算出集合C_tweets(e)对应的事件属于每一个主题t的概率值p(t/C_words(e))

使用p(t/w)表示单词w能够区分事件主题t的概率，使用p(w)表示整个事件簇单词中w所占的比例；定义上述概率的计算公式如下所示：

其中，count(w)表示单词w在数据集中的频数，count(w,t)表示出现于t话题下的w频数，count_all表示所有词的总出现频数；

基于上述概率计算过程计算出事件簇属于每个主题的概率，并且选择具有最高概率的主题作为事件的主题。