[发明专利]一种基于动态增量式的概率图模型的舆情演化跟踪方法

权利要求书

1.一种基于动态增量式的概率图模型的舆情演化跟踪方法，其特征在于，包括：

步骤1，确定LDA话题数，步骤如下：

步骤1.1，首先对文档进行分词处理，使用TF-IDF计算每个词语的权重，通过寻找突变点，得到最具代表性的主题特征词，即选定主题个数的范围；

步骤1.2，使用吉布斯采样算法，给文档近似的抽取话题序列，得到文档-话题分布，即给每条文档赋予话题标签，选取概率最大的一个词语作为其文档的话题标签；

步骤1.3，将已标记好的文档输入模型中，进行筛选，所使用的模型为增量式话题筛选模型，模型介绍如下：

首先，输入新样本x_i，判断是否属于新的话题节点，若是插入成为新的节点，若不是则属于已存在话题节点G中，然后在G中寻找最近的邻居点winner和次近邻居点runner-up；winner和runner-up的计算公式为：

其中w_i表示节点G中的第i个话题；

然后，判断样本与winner的向量距离，若大于阈值或则重新成为一个新的节点，否则更新该节点内文档之间的关系，其中阈值和是自适应的；

最后，按照时间片的长度，对该时间片处理过的文档关系进行一次删除操作，删除掉那些某话题下文档之间关联性低于设定值的文档，以及只有一个或没有拓扑邻居的话题节点，最后统计筛选后话题的数量，即为确定的话题数；

步骤2，基于确定的话题数，根据LDA模型，按照时间片T进行文本划分，文档集合D＝{(d_n1，t₁)，(d_n2，t₂)，…，(d_ni，t_i)，…，(d_nn，t_n)}，d_ni表示t_i时间片的n篇文档，基于历史时间T话题发现的基础上，推断T+1时间片的话题，完成话题演化分析，具体演化步骤如下：

步骤2.1，初始化LDA模型的各类参数，初始化时间片T的词语后验概率分布，即某个话题中包括的词语及对应词语概率值，初始化时间片T+1的文本分词结果；

步骤2.2，通过吉布斯采样方法，将文档中的每个词随机赋予话题编号；统计每个话题下出现词语的数量和文档下出现话题的数量；根据已知变量得到时间片T+1的文本-话题概率分布；

步骤2.3，将历史时间片T的词语的后验概率分布，乘以时间片T+1的文本-话题概率分布，计算时间片T+1的话题-词语概率分布；

步骤2.4，根据时间片T+1的话题-词语概率分布，将该分布中词语的权值即由分布得到的概率值与设定阈值ε进行比较，如果大于ε，则保留T+1时间的关键词及权值，如果小于ε，淘汰T+1时刻的结果，保留T时刻的结果，其中阈值ε为微博话题中的词语权值求和取平均。

2.根据权利要求1所述基于动态增量式的概率图模型的舆情演化跟踪方法，其特征在于，所述步骤1.1中，采用TF-IDF统计每个主题下的所有词汇值，并从小到大进行排序，在排序的结果中，寻找数值大幅度下降的突变点，确定用来描述主题的特征词的数目。

3.根据权利要求1所述基于动态增量式的概率图模型的舆情演化跟踪方法，其特征在于，所述更新的规则为：节点内的文档之间的权重开始为零，在不断学习的过程中增强，若这个值超过预先设定的值则被移除。

4.根据权利要求1所述基于动态增量式的概率图模型的舆情演化跟踪方法，其特征在于，阈值和的计算分为两类：原型间距离和原型内距离，指原型i与其他原型集中有相同标签的样本的距离；指原型i与在该原型集中标签不同的原型之间的距离；

其阈值为小于或等于原型间距离，如公式：

其中为原型i的邻居点数量，E为一类原型的集合，若原型k与原型i相邻，则k，i同属于E。