[发明专利]一种Hadoop框架下的热点挖掘系统的构建

权利要求书

1.一种Hadoop框架下的热点挖掘系统的构建，其特征在于，包括以下具体步骤：

S1、使用云端计算机Hadoop集群模块从网络上采集数据信息A，并对数据信息A进行预处理，得到预处理数据信息B；

S2、云端计算机Hadoop集群模块将预处理数据信息B发送给挖掘系统；

S3、对预处理数据信息B进行分词，得到关键词集合C；

S4、将关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；

当关键词D是以往热点信息词库中出现的热点词，则将关键词D舍弃；

当关键词D不是以往热点信息词库中出现的热点词，则执行S5中的操作；

S5、根据各个关键词D在当前时刻和给定历史时间窗口内的出现频率和转播数量的综合排名，将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；

S6、根据热词集合F中各个热词D之间的相关性构建词共现网络；

S7、根据词共现网络采用聚类算法对热词集合F进行划分，得到热点话题集合。

2.根据权利要求1所述的一种Hadoop框架下的热点挖掘系统的构建，其特征在于，对数据信息A进行预处理包括去重处理和过滤乱码处理。

3.根据权利要求1所述的一种Hadoop框架下的热点挖掘系统的构建，其特征在于，云端计算机Hadoop集群模块包括数据采集模块和数据处理模块；数据采集模块与数据处理模块通讯连接，数据采集模块用于从网络上采集数据信息A，并将数据信息A发送给数据处理模块；

数据处理模块与挖掘系统通讯连接，数据处理模块用于对数据信息A预处理，得到预处理数据信息B。

4.根据权利要求3所述的一种Hadoop框架下的热点挖掘系统的构建，其特征在于，数据采集模块采用web爬虫的方式从网络上获取数据信息A。

5.根据权利要求3所述的一种Hadoop框架下的热点挖掘系统的构建，其特征在于，挖掘系统包括分词模块、筛选判断模块、热点信息排序模块、词共现网络构建模块、聚类计算模块和存储模块；

存储模块用于存储以往热点信息，存储模块内存储的以往热点信息组成以往热点信息词库；

分词模块与数据处理模块通讯连接，分词模块用于对预处理数据信息B进行分词，得到关键词集合C；

筛选判断模块与分词模块通讯连接，且筛选判断模块与存储模块通讯连接，筛选判断模块用于对关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；

热点信息排序模块与筛选判断模块通讯连接，热点信息排序模块用于对筛选后的各个关键词D在当前时刻和给定历史时间窗口内的出现频率和转播数量的综合排名，将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；

词共现网络构建模块与热点信息排序模块通讯连接，词共现网络构建模块用于计算热词集合F中各个热词E的相关性，并构造词共现网络；

聚类计算模块与词共现网络构建模块通讯连接，聚类计算模块用于根据词共现网络，使用词聚类算法对热词集合F进行划分，得到热点话题集合。

6.根据权利要求5所述的一种Hadoop框架下的热点挖掘系统的构建，其特征在于，筛选判断模块对每个关键词D进行筛选时，

当关键词D是以往热点信息词库中出现的热点词，则将关键词D舍弃；

当关键词D不是以往热点信息词库中出现的热点词，则将关键词D发送给热点信息排序模块。