[发明专利]行业舆情监控方法、装置、计算机设备及存储介质

说明书

本发明公开了行业舆情监控方法、装置、计算机设备及存储介质。该方法包括：通过分布式爬虫并行获取对应行业领域的源数据；对每一行业领域的源数据均进行预处理，得到各文本数据一一对应的处理后数据；获取与各处理后数据一一对应的全文文章向量；将每一行业领域对应的各全文文章向量进行聚类，得到与每一行业领域所对应的多个聚类群；根据舆情热度值模型，获取每一行业领域所对应的多个聚类群中各文本数据对应的热度值；将每一行业领域所对应的每一聚类群中按照各文本数据的热度值降序排序，并对应显示文本数据。该方法采用爬虫技术实现对各行业领域的信息爬取，而且对各行业领域的舆情信息能进行分类整合和排序，得到对应行业相关的舆情内容。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种行业舆情监控方法、装置、计算机设备及存储介质。

背景技术

目前，特定领域的行业舆情信息，具有全网分散性，比较难以搜集到对应的舆情内容。例如，金融行业信息主要分散在财经网站、股票论坛以及微博社交媒体平台等；工业行业信息主要分散在工业论坛、工业新闻网站等平台。这些信息繁多且难以聚集，无法有效的对各行业领域的舆情进行精准的监控。

发明内容

本发明实施例提供了一种行业舆情监控方法、装置、计算机设备及存储介质，旨在解决现有技术中特定领域的行业舆情信息，具有全网分散性，比较难以搜集到对应的舆情内容，无法有效的对各行业领域的舆情进行精准的监控的问题。

第一方面，本发明实施例提供了一种行业舆情监控方法，其包括：

通过分布式爬虫中多个爬虫工具并行获取对应行业领域的源数据，以得到源数据集；

对所述源数据集中每一行业领域的源数据均进行预处理，得到与所述源数据集中包括的多篇文本数据一一对应的处理后数据，以组成处理后数据集合；

通过Word2Vec模型获取与所述处理后数据集合中各处理后数据一一对应的全文文章向量；

将所述源数据集中每一行业领域对应的各全文文章向量进行聚类，得到与每一行业领域所对应的多个聚类群；

根据预设的舆情热度值模型，获取每一行业领域所对应的多个聚类群中各文本数据对应的热度值；以及

将每一行业领域所对应的每一聚类群中按照各文本数据的热度值降序排序，并对应显示文本数据。

第二方面，本发明实施例提供了一种行业舆情监控装置，其包括：

并行爬取单元，用于通过分布式爬虫中多个爬虫工具并行获取对应行业领域的源数据，以得到源数据集；

预处理单元，用于对所述源数据集中每一行业领域的源数据均进行预处理，得到与所述源数据集中包括的多篇文本数据一一对应的处理后数据，以组成处理后数据集合；

全文文章向量获取单元，用于通过Word2Vec模型获取与所述处理后数据集合中各处理后数据一一对应的全文文章向量；

聚类单元，用于将所述源数据集中每一行业领域对应的各全文文章向量进行聚类，得到与每一行业领域所对应的多个聚类群；

热度值计算单元，用于根据预设的舆情热度值模型，获取每一行业领域所对应的多个聚类群中各文本数据对应的热度值；以及

排序显示单元，用于将每一行业领域所对应的每一聚类群中按照各文本数据的热度值降序排序，并对应显示文本数据。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的行业舆情监控方法。