[发明专利]一种Hadoop框架下的热点挖掘系统的构建在审
| 申请号： | 201910570822.6 | 申请日： | 2019-06-28 |
| 公开（公告）号： | CN110377823A | 公开（公告）日： | 2019-10-25 |
| 发明（设计）人： | 肖清林 | 申请（专利权）人： | 厦门美域中央信息科技有限公司 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535;G06F16/33;G06F17/27 |
| 代理公司： | 北京劲创知识产权代理事务所(普通合伙) 11589 | 代理人： | 王志敏 |
| 地址： | 361008 福建省厦门市软件园*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种Hadoop框架下的热点挖掘系统的构建，包括以下具体步骤：使用云端计算机Hadoop集群模块从网络上采集数据信息A并对其预处理，得到预处理数据信息B并将其发送给挖掘系统；对预处理数据信息B进行分词，得到关键词集合C；将关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；根据热词集合F中各个热词D之间的相关性构建词共现网络；根据词共现网络采用聚类算法对热词集合F进行划分，得到热点话题集合。本发明能快速得到热点话题集合，且能提高从网络上获得热点话题获得的精准度。 | ||
| 搜索关键词： | 热词 集合 构建 热点话题 挖掘系统 预处理数据信息 关键词集合 网络 预处理 筛选 采集数据 聚类算法 热点信息 精准度 云端 词库 分词 排序 计算机 | ||
【主权项】：
1.一种Hadoop框架下的热点挖掘系统的构建，其特征在于，包括以下具体步骤：S1、使用云端计算机Hadoop集群模块从网络上采集数据信息A，并对数据信息A进行预处理，得到预处理数据信息B；S2、云端计算机Hadoop集群模块将预处理数据信息B发送给挖掘系统；S3、对预处理数据信息B进行分词，得到关键词集合C；S4、将关键词集合C中的每个关键词D通过以往热点信息词库进行筛选；当关键词D是以往热点信息词库中出现的热点词，则将关键词D舍弃；当关键词D不是以往热点信息词库中出现的热点词，则执行S5中的操作；S5、根据各个关键词D在当前时刻和给定历史时间窗口内的出现频率和转播数量的综合排名，将各个关键词D由高到低进行排序，筛选出热词E，并构建热词集合F；S6、根据热词集合F中各个热词D之间的相关性构建词共现网络；S7、根据词共现网络采用聚类算法对热词集合F进行划分，得到热点话题集合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门美域中央信息科技有限公司，未经厦门美域中央信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910570822.6/，转载请声明来源钻瓜专利网。
