[发明专利]一种Hadoop框架下的热点挖掘系统的构建

说明书

一种Hadoop框架下的热点挖掘系统的构建，包括以下具体步骤：使用云端计算机Hadoop集群模块从网络上采集数据信息A并对其预处理，得到预处理数据信息B并将其发送给挖掘系统；对预处理数据信息B进行分词，得到关键词集合C；将关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；根据热词集合F中各个热词D之间的相关性构建词共现网络；根据词共现网络采用聚类算法对热词集合F进行划分，得到热点话题集合。本发明能快速得到热点话题集合，且能提高从网络上获得热点话题获得的精准度。

技术领域

本发明涉及语言数据处理技术领域，尤其涉及一种Hadoop框架下的热点挖掘系统的构建。

背景技术

随着互联网的快速发展，越来越多的用户参与到互联网中，用户可以在互联网上发布信息或者获取自己需要的信息，互联网中的信息每日递增；但是由于信息量巨大，给用户在寻找和关注重点热点信息是，带来困扰；现在越来越多的用户对热点的关注，但是人们往往无法有效的从网络上获得自己需要的热点信息；为此，本申请中提出一种Hadoop框架下的热点挖掘系统的构建，以帮助用户能快速从网络上得到热点话题集合，且能提高从网络上获得热点话题获得的精准度。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种Hadoop框架下的热点挖掘系统的构建，本发明能快速得到热点话题集合，且能提高从网络上获得热点话题获得的精准度。

(二)技术方案

为解决上述问题，本发明提供了一种Hadoop框架下的热点挖掘系统的构建，包括以下具体步骤：

S1、使用云端计算机Hadoop集群模块从网络上采集数据信息A，并对数据信息A进行预处理，得到预处理数据信息B；

S2、云端计算机Hadoop集群模块将预处理数据信息B发送给挖掘系统；

S3、对预处理数据信息B进行分词，得到关键词集合C；

S4、将关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；

当关键词D是以往热点信息词库中出现的热点词，则将关键词D舍弃；

当关键词D不是以往热点信息词库中出现的热点词，则执行S5中的操作；

S5、根据各个关键词D在当前时刻和给定历史时间窗口内的出现频率和转播数量的综合排名，将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；

S6、根据热词集合F中各个热词D之间的相关性构建词共现网络；

S7、根据词共现网络采用聚类算法对热词集合F进行划分，得到热点话题集合。

优选的，对数据信息A进行预处理包括去重处理和过滤乱码处理。

优选的，云端计算机Hadoop集群模块包括数据采集模块和数据处理模块；数据采集模块与数据处理模块通讯连接，数据采集模块用于从网络上采集数据信息A，并将数据信息A发送给数据处理模块；

数据处理模块与挖掘系统通讯连接，数据处理模块用于对数据信息A预处理，得到预处理数据信息B。

优选的，数据采集模块采用web爬虫的方式从网络上获取数据信息A。

优选的，挖掘系统包括分词模块、筛选判断模块、热点信息排序模块、词共现网络构建模块、聚类计算模块和存储模块；

存储模块用于存储以往热点信息，存储模块内存储的以往热点信息组成以往热点信息词库；

分词模块与数据处理模块通讯连接，分词模块用于对预处理数据信息B进行分词，得到关键词集合C；