[发明专利]基于LDA的新闻评论的话题挖掘方法

权利要求书

1.基于LDA的新闻评论的话题挖掘方法，提出了基于LDA主题模型生成事件评论中的主题，并使用维基百科概念表示评论中的特征词形成评论的空间向量，对其进行k中心点聚类，生成主题簇并展示评论，其特征在于包括如下步骤：

（1）将维基百科语料库建立文档反向索引列表，具体是：

A）下载维基百科中文语料库，去除不相关的页面，所述页面包括图片、音乐分类、运动项目、城市人口或国家人口；

B）使用中科院的NLPIR分词系统对文档进行分词，并过滤停用词；

C）统计所有文档中出现的词汇，过滤在所有文档中只出现一次的词汇，并建立索引词典(index,term)；

D）计算每篇文档中出现词汇的权重，w_i＝tf_i×idf＝tf_i×log(N/cf_i)，其中tf_i是文档中的词频，idf是逆文档值,N是总的文档数目，cf_i是文档中出现词的文档数；

E）查找索引字典和文档词汇的权重建立文档的反索引列表，每一篇文档由(index,w_term)集合组成，w_term是索引号为index的词汇的权值；

（2）使用LDA主题模型确定主题，具体是：

F）对某一事件的所有评论作为LDA主题模型的输入文档集；

G）给定参数k作为评论中包含的主题数，并采用gensim的LDA主题模型训练文档集；

H）将评论与每个主题的相似度进行降序排列，获取大于阈值的评论作为聚类的数据源并确定评论的主题；

（3）使用k中心聚类评论，具体是：

I）对于H）中的评论数据使用维基百科概念的反向列表转化每一条评论；

J）使其用维基百科的概念表示属性，构成空间向量；

K）使用余弦相似度公式度量两个评论间的距离；

L）进行k-中心聚类成k个主题簇。