[发明专利]一种热点话题识别追踪方法及系统

权利要求书

1.一种热点话题识别追踪方法，其特征在于，包括：

利用网络爬虫爬取网页，并对爬取的网页进行清洗抽取网页正文内容，建立文本语料库；

将所述文本语料库中文本进行向量化处理，得到可供分析的文本数据，以向量空间模型为基础进行聚类得到话题列表；

利用熵值法和层次分析法，计算选取热点话题相关一级指标和二级指标，建立综合评价模型；根据所述综合评价模型，分别计算所述话题中各个话题得分，识别出热点话题。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据每个所述热点话题的话题发展曲线，在话题各个阶段发生、发展、平稳的相关文档中取得与所述话题的平均向量相似度最高的文字文档作为所述话题的相关文档和话题描述。

3.如权利要求1所述的方法，其特征在于，所述建立文本语料库，具体包括：

对网络爬虫爬取的不规范网页标记进行处理，根据网页的格式用正则表达式对噪音信息进行初步过滤；

基于标签密度的方式来抽取网页中的正文；若读取到一个结束标记，则检查与起始标记之间中文字符的比例，若未达到阈值，则将起始标记与结束标记之间的所有内容包含标记全部去掉；

基于DOM文档对象模型提取出网页内容，将HTML内的转义符进行替换，并将叶子内容合并，得到正文内容抽取的文本文件，建立文本语料库。

4.如权利要求1所述的方法，其特征在于，所述将所述文本语料库中文本进行向量化处理，包括：

一篇文档S表示为一个向量：

S_i＝(w_1，i，w_2，i，...，w_n，j)

其中，W_k，i表示第i个文档中第k个索引项的权重，n是文档中索引项的总数。

5.如权利要求4所述的方法，其特征在于，所述向量空间模型，包括：

经过文本的向量化之后，对所述文本向量进行计算处理；采用向量空间模型中通用公式计算文档之间的相似度；

所述文档相似性计算公式为：

sim(d_i，d_j)＝D(d_i，d_j)；

其中，D(d_i，d_j)为文档之间的cosine相似值，计算方式如下：

D(di,dj)=cosD(di,dj)=di→*dj→d→*dj→=Σk=1iwk,i*wk,jΣk=1twk,i2*Σk=1twk,j2;]]>

其中，和分别表示文档i和文档j向量的模，w_k，j表示第i篇文档中第k个索引项的权重，t是两篇文档中不同索引项的总数。