[发明专利]一种基于关键词提取热点话题的方法

摘要

本发明公开了一种基于关键词提取热点话题的方法，将海量的数据统一格式并分词处理形成语料库，再对语料库并行化分块处理，得到每块的候选词集，然后对每块候选词集进行TFIDF赋权和去重处理，得到基准文档，再将基准文本与块中其他文本作余弦相似度处理，提取出与基准文本相似的文本，对相似文本中的候选关键词集通过词频降序排列找到这些相似文本的若干个热点主题，最后从若干个热点主题中提取出热点话题，更能代表这些海量数据的主要的观点。

主权项

一种基于关键词提取热点话题的方法，其特征在于，包括以下步骤：(1)、通过爬虫爬取海量的文本数据，再将这些文本数据统一成txt文本格式，并储存到数据库中；(2)、提取数据库中的文本数据，再利用中文分词包对文本数据进行分词处理，得到由词语组成的语料库；(3)、将语料库等均分为M个块，再利用停用词表和过滤规则对每块语料库中的分词结果进行过滤，得到M个块的块候选词集；(4)、对第p块(p＝1,2,…,M)块候选词集中第i个候选关键词进行TFIDF赋权，得到M个赋权后的块候选词集；(4.1)、计算第p块中第i个候选关键词在第j篇文本中出现的频率TFijp=nijpΣknijp]]>其中，表示第p块中第i个候选关键词在第j篇文本中出现的次数，表示第p块中所有候选关键词在第j篇文本中出现的次数之和，k表示第p块中第j篇文本所有候选关键词的总数量；(4.2)、计算第p块中第i个候选关键词的普遍重要性度量IDFipIDFip=|Dp||ip|]]>其中，|Dp|表示第p块中的文本的总数目，|ip|表示第p块中包含第i个候选关键词的文本数目；(4.3)、计算第块中第i个候选关键词在第j篇文本中的权值TFIDFijp=TFijp×IDFip]]>(4.4)、按照步骤(4.1)‑(4.3)所述方法，继续处理第p块中第j篇文本剩余k‑1个候选关键词，然后再处理第p块中的其他文本，当第p块块候选词集处理完成后，按照步骤(4.1)‑(4.3)所述方法，继续处理剩余的块候选词集，最终得到M个赋权后的块候选词集；(5)、获取基准文本(5.1)、在第p块赋权后的块候选词集中，选出相同的候选关键词，并将相同的候选关键词对应的权值相加，不同的候选关键词保持原有的权值，完成第p块赋权后的块候选词集的去重处理，从而得到块关键词集；(5.2)、将块关键词集中对应候选关键词的权值进行降序排列，再以权值最大的候选关键词为基准，在第p块块候选词集中找到包含该候选关键词的第一篇文本，并标记为基准文本；(5.3)、按照步骤(5.1)‑(5.2)所述方法，继续处理剩余赋权后的块候选词集，最终得到M篇基准文本；(6)、求取文本集合(6.1)、找出第p块块关键词集中对应的基准文本，再利用该基准文本中的候选关键词对应的权值组成权值向量w0；(6.2)、找出第p块块关键词集中其它文本，再分别利用这些文本中的候选关键词对应的权值组成权值向量w1,w2,…,wt…，wT，T表示第p块块关键词集中包含文本的总数目；(6.3)、利用余弦相似度公式计算出第p块块关键词集中其它文本与基准文本的相似度余弦值；cos(w0,wt)=w0×wtw02×wt2]]>(6.4)、利用第p块块关键词集中的T个相似度余弦值组成余弦向量Q，再利用余弦向量Q中的每一个向量与预设的阈值θ作比较，如果某一向量大于预设的阈值θ，那么判定该向量对应的文本与基准文本的相似度高，并把该文本和基准文本一起加入到文本集合(6.5)、按照步骤(6.1)‑(6.4)所述方法，继续处理剩余块关键词集，最终得到M个文本集合(7)、在文本集合中，将文本中重复出现的候选关键词的词频加1，进而统计出文本中所有候选关键词的词频，再将词频进行降序排列，取出前l个候选关键词作为热点关键词，并用这些热点关键词标记为文本集合的热点主题同理，得到剩余M‑1个热点主题；(8)、在第p块块候选词集中，剔除文本集合中出现的相似文本，将剩余文本组成的块候选词集按照步骤(4)‑(7)所述方法，提取到h‑1个热点主题同理，在剩余的M‑1个块候选词集中分别提取出h‑1个热点主题；(9)、将M个块候选词集中分别得到h个热点热点主题对应的所有文本分别存入到对应块的热点文本集合中，再将M个热点文本集合组合起来作为语料库，按照步骤(3)所述方法，提取候选关键词集，然后重复步骤(4)‑(7)所述方法，获取更多的热点主题。