[发明专利]一种热点话题识别追踪方法及系统

说明书

技术领域

本公开涉及数据挖掘技术领域，具体涉及一种热点话题识别追踪方法及系统。

背景技术

话题的识别与跟踪的研究始于1996年，强调了对新信息的发现能力，关心涉及特定的话题而不是广泛的主题类别的信息，处理的对象是随时间变化的文本信息。这项技术目的是帮助人们解决信息过载的问题，通过对大量的文本信息进行挖掘分析将话题报告组织起来以比较友好的方式呈现给用户。基本的流程如图1所示。

现有技术中，在语料的采集和话题识别方面，主要使用爬虫技术从网页上爬取所需网页，然后对网页内容进行加工清洗得到可以分析的文本语料库，然后使用聚类算法实现对话题的识别。这种技术相对比较成熟，但是在热点话题识别方面缺乏科学的定量分析方法，导致热点话题识别不够准确。

发明内容

鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的热点话题识别追踪方法及系统。

根据本公开的一个方面，提供了一种热点话题识别追踪方法，其包括：

利用网络爬虫爬取网页，并对爬取的网页进行清洗抽取网页正文内容，建立文本语料库；

将所述文本语料库中文本进行向量化处理，得到可供分析的文本数据，以向量空间模型为基础进行聚类得到话题列表；

利用熵值法和层次分析法，计算选取热点话题相关一级指标和二级指标，建立综合评价模型；根据所述综合评价模型，分别计算所述话题中各个话题得分，识别出热点话题。

所述方法还包括：

根据每个所述热点话题的话题发展曲线，在话题各个阶段发生、发展、平稳的相关文档中取得与所述话题的平均向量相似度最高的文字文档作为所述话题的相关文档和话题描述。

所述建立文本语料库，具体包括：

对网络爬虫爬取的不规范网页标记进行处理，根据网页的格式用正则表达式对噪音信息进行初步过滤；

基于标签密度的方式来抽取网页中的正文；若读取到一个结束标记，则检查与起始标记之间中文字符的比例，若未达到阈值，则将起始标记与结束标记之间的所有内容包含标记全部去掉；

基于DOM文档对象模型提取出网页内容，将HTML内的转义符进行替换，并将叶子内容合并，得到正文内容抽取的文本文件，建立文本语料库。

所述将所述文本语料库中文本进行向量化处理，包括：

一篇文档S表示为一个向量：

S_i＝(W_1，i，W_2，i，...，W_n，j)

其中，W_k，i表示第i个文档中第k个索引项的权重，n是文档中索引项的总数。

所述向量空间模型，包括：

经过文本的向量化之后，对所述文本向量进行计算处理；采用向量空间模型中通用公式计算文档之间的相似度；

所述文档相似性计算公式为：

sim(d_i，d_j)＝D(d_i，d_j)；

其中，D(d_i，d_j)为文档之间的cosine相似值，计算方式如下：

其中，和分别表示文档i和文档j向量的模，W_k，i表示第i篇文档中第k个索引项的权重，t是两篇文档中不同索引项的总数。

所述以向量空间模型为基础进行聚类得到话题列表中的聚类算法，包括：

当文档D_i到来时，对D_i进行向量表示，并创建一个包含D_i的类G_j；

对于G_j中的每一个微类C_n，如果C_n中的文档数m<＝600，计算D_i与C_n中所有文档的相似度；如果m>600，计算D_i与C_n中文档集合{D_m-600…D_m-1}中所有文档的相似度，并计算相似度最大的k个值的平均值θ作为D_i与C_n微类之间的相似度；

获取最大的θ，如果θ小于设定阈值，则创建一个包含D_i的新类，否则就把D_i加入到相应的微类C_n中；