[发明专利]一种基于微博数据的话题发现与追踪方法

权利要求书

1.一种基于微博数据的话题发现与追踪方法，其特征在于，分为如下步骤：

步骤1：数据预处理；

①忽略指向性对话互动消息；

②原微博数据扩充；

③微博文本式化：对微博文本进行分词、去停用词、去除低频词和高频词的处理；

④去稀疏性：针对微博较短的数据文本，对其进行基于词向量的聚类处理；

步骤2：时间窗口内话题生成；

①将经过预处理后的所有数据信息根据其时间信息离散到时间序列上对应的时间窗口t中；

②去稀疏性：微博数据多为短句子甚至短语，针对其较为稀疏的数据内容，对其进行基于词向量的聚类处理；

③针对已经切分为时间片的微博文本，依次处理每个时间窗口内的文本集合，运用LDA模型进行话题模型建模，从中抽取出若干个主题T，并分别获得话题内容以及话题强度；其中每个窗口内生成的话题数量可以相同也可以不同，话题数量N由模型选择方法根据每个时间窗口中的微博文本内容动态生成；

④由于已经出现过的某个话题在接下来的时间窗口中仍会以一定概率出现，因此利用历史时间窗口中词的分布的后验概率作为当前时间窗口内话题发掘的先验知识；采取基于非条件依赖的先离散方法，对于当前时间窗口t，用时间窗口为t-1内的词分布与某个加权值w作为时间窗口t中词分布的先验；

步骤3：时间窗口间话题关联分析；

话题演化主要指的是不同时间段上，具有相同语义的话题随时间的变化趋势，以及旧话题的灭亡，新话题的产生；分析时间窗口间话题内容关联性，包括话题间的继承性与同一性，从而得到话题的演化路径；其中，话题间的继承性通过语义相似度来衡量，同一性通过微博向量信息中的相似度来衡量；通过窗口话题内容和强度的变化，将话题由产生到消亡划描述为若干阶段，形成话题的变化趋势；将具有时序关系和内容关联的若干窗口话题组合成话题，通过窗口话题内容和强度的变化，将一话题由产生到消亡划分为若干阶段，描述出话题的演化过程。

2.根据权利要求1所述的一种基于微博数据的话题发现与追踪方法，其特征在于：所述方法的步骤1中，在数据预处理阶段，忽略指向性对话互动消息；即忽略掉带有“@用户名”格式的微博信息，此类信息多为具有指向性的用户之间的对话交流，往往描述一般话题的可能性较小。

3.根据权利要求1所述的一种基于微博数据的话题发现与追踪方法，其特征在于：所述方法的步骤1中，将原本稀疏的微博数据信息进行扩充，把微博正文中涉及到的内嵌外部链接（URL）中的信息抽取出并添加到微博信息中，支撑用户的观点描述；将提取出的数据运用到针对微博特征改进的TF-IDF值计算中，其针对微博信息中的正文，评论，转发赋予了不同的权值。

4.根据权利要求1所述的一种基于微博数据的话题发现与追踪方法，其特征在于：所述方法的步骤1中，对微博数据进行去稀疏性处理，微博数据多为短句子甚至短语，针对其较为稀疏的数据内容，对其进行基于词向量的聚类处理；在时间窗口t内，对S_t中的词向量W_j使用K均值算法进行聚类处理；假设聚类结果为K类，将每一类里的微博数据合并成单个文档，则得到了K个合成的微博文档Dt。