[发明专利]行业舆情监控方法、装置、计算机设备及存储介质在审
| 申请号: | 201910078961.7 | 申请日: | 2019-01-28 |
| 公开(公告)号: | CN109885747A | 公开(公告)日: | 2019-06-14 |
| 发明(设计)人: | 吴壮伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
| 主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/35 |
| 代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
| 地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 行业领域 聚类 文本数据 热度 计算机设备 存储介质 源数据 向量 预处理 爬虫 并行获取 降序排序 爬虫技术 显示文本 舆情信息 监控 整合 排序 分类 | ||
1.一种行业舆情监控方法,其特征在于,包括:
通过分布式爬虫中多个爬虫工具并行获取对应行业领域的源数据,以得到源数据集;
对所述源数据集中每一行业领域的源数据均进行预处理,得到与所述源数据集中包括的多篇文本数据一一对应的处理后数据,以组成处理后数据集合;
通过Word2Vec模型获取与所述处理后数据集合中各处理后数据一一对应的全文文章向量;
将所述源数据集中每一行业领域对应的各全文文章向量进行聚类,得到与每一行业领域所对应的多个聚类群;
根据预设的舆情热度值模型,获取每一行业领域所对应的多个聚类群中各文本数据对应的热度值;以及
将每一行业领域所对应的每一聚类群中按照各文本数据的热度值降序排序,并对应显示文本数据。
2.根据权利要求1所述的行业舆情监控方法,其特征在于,所述对所述源数据集中每一行业领域的源数据均进行预处理,得到与所述源数据集中包括的多篇文本数据一一对应的处理后数据,包括:
将所述源数据集所包括的多篇文本数据中各文本数据的标题和正文分别通过词频-逆文本频率指数模型进行关键词信息抽取,得到与各文本数据对应的标题关键词列表和正文关键词列表;
将所述源数据集中每一文本数据对应的标题关键词列表和正文关键词列表进行封装组合,得到与每一文本数据对应的行业消息列表,以组成处理后数据集合。
3.根据权利要求1所述的行业舆情监控方法,其特征在于,所述通过Word2Vec模型获取与所述处理后数据集合中各处理后数据一一对应的全文文章向量,包括:
通过Word2Vec模型获取所述处理后数据集合中各处理后数据的标题关键词列表对应的标题平均向量;
通过Word2Vec模型获取所述处理后数据集合中各处理后数据的正文关键词列表对应的正文平均向量;
根据处理后数据的全文文章向量=标题平均向量*第一权重+正文平均向量*第二权重,计算获取与所述处理后数据集合中各处理后数据一一对应的全文文章向量;其中,所述第一权重和所述第二权重均为预先设置的权重值,且第一权重和所述第二权重之和为1。
4.根据权利要求1所述的行业舆情监控方法,其特征在于,所述将所述源数据集中每一行业领域对应的各全文文章向量进行聚类,得到与每一行业领域所对应的多个聚类群,包括:
在所述源数据集中每一行业领域对应的各全文文章向量中,各行业领域均随机选定一个全文文章向量,以作为与各行业领域对应的初始聚类中心;
根据预设的最小包含点数,获取与各初始聚类中心之间的间距在预设的扫描半径之内的全文文章向量,以作为各行业领域对应的初始聚类群;
将各行业领域对应的初始聚类群中每一全文文章向量作为聚类中心,获取各行业领域对应的多个全文文章向量中与聚类中心直接密度可达、密度可达或密度相连的全文文章向量,以得到与每一行业领域所对应的多个聚类群。
5.根据权利要求1所述的行业舆情监控方法,其特征在于,所述根据预设的舆情热度值模型,获取每一行业领域所对应的多个聚类群中各文本数据对应的热度值,包括:
获取每一行业领域所对应的多个聚类群中各文本数据的点赞数、评论数和转发数之和以得到每一文本数据的文本热度值;
获取每一文本数据的发表时间与当前系统时间之差并乘以预设调节参数以作为自然指数e的指数,计算得到每一文本数据的时间衰退因子;
将每一行业领域所对应的多个聚类群中各文本数据的文本热度值乘以对应的时间衰退因子,得到每一行业领域所对应的多个聚类群中各文本数据对应的热度值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910078961.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:页面动态布局方法、装置、设备及存储介质
- 下一篇:基于语意特征的优化推荐方法





