[发明专利]一种基于增量聚类算法的微博话题检测方法及系统

权利要求书

1.一种基于增量聚类算法的微博话题检测方法，其特征在于，所述方法包括以下步骤：

S1，获取微博信息集合；

S2，对微博信息集合进行预处理；

S3，在预处理操作后，依据词语发生频率、词语在微博文本的分布情况、词语在时间窗口的分布情况来提取特征词；

S4，对特征词赋予权重，根据特征词及其权重将微博文本向量化；

S5，采用基于向量间距离的相似性判断方法进行话题合并。

2.根据权利要求1所述的基于增量聚类算法的微博话题检测方法，其特征在于：所述步骤S1及S2的微博信息包括用户信息和微博文本。

3.根据权利要求1所述的基于增量聚类算法的微博话题检测方法，其特征在于：所述S2中预处理按照如下步骤进行：

(1)删除收听人数小于阈值F的用户信息；

(2)忽略指向性对话互动信息；

(3)对微博文本进行分词，保留动词、名词和形容词。

4.根据权利要求3所述的基于增量聚类算法的微博话题检测方法，其特征在于：所述阈值F设定为30。

5.根据权利要求1所述的基于增量聚类算法的微博话题检测方法，其特征在于：所述S3步骤提取特征词的步骤具体包括：

①建立词语发生频率模型：

dfi=|(d:ti∈d)||D|,---(1)]]>

其中，|D|表示预处理后的微博文本集合总数，|(d:t_i∈d)|表示出现词语i的文本数，d表示文档集合中的某篇文档；ti表示某个词语在所有文档集合中出现的次数；

确定词语发生频率平均值E，E值是根据预处理后待处理微博文本里词语出现次数的平均值；E满足：

E=Σi=1kdfik1,---(2)]]>

其中，k为当前待处理词语，k₁为预处理后所有待处理词语数量；

选择发生频率值不低于平均值E的词语，进入下一步骤的提取；

②建立词语在微博文本集合中的分布模型，采用最大信息熵来计算：

GT(i)=H(d|ti)H(d),---(3)]]>

式中：

H(d|t_i)＝-∑p(j|i)log p(j|i)， (4)；

p(j|i)=tfijgfi,---(5);]]>

H(d)＝logN_t， (6)；

其中，tf_ij表示词语i在微博文本j中出现的次数，gf_i表示词语i在S3的①步骤后的微博文本集合中出现的总次数，N_t表示在S3的①步骤后的微博文本集合总数；同时，确定最大信息熵的平均值G满足：

G=Σi=1kGT(i)k2---(7),]]>

其中，k₂为S3的①步骤后所有待处理词语数量，选择词语分布最大信息熵小于平均值G的词语，进入下一步骤的提取；

③建立词语在时间窗口的分布模型，采用最大信息熵来计算：

TT(i)＝-∑p_i*log(p_i) (8)，

式中，

tf_i表示词语i在某个时间窗口内的出现频率，gf_i表示词语i在S3的②步骤后的微博文本集合中出现的总次数；同时，确定最大信息熵的平均值H，

H=Σi=1kTT(i)k3---(10),]]>

其中，k₃为S3的②步骤后所有待处理词语数量，选择词语时间分布最信息熵小于平均值H的词语，即为特征词。