[发明专利]舆情数据分布式存储方法、装置、存储介质和终端设备

说明书

本发明公开了一种舆情数据分布式存储方法、装置、计算机可读存储介质和终端设备，其中，所述舆情数据分布式存储方法，在获取到舆情数据后，可首先根据预设提取方式提取所述舆情数据的核心关键词，并抽取分布式存储系统中各存储服务器所存储的初始舆情数据，以根据所述初始舆情数据确定各存储服务器所对应的样本关键词，从而根据所述核心关键词和所述样本关键词确定所述分布式存储系统中存储所述舆情数据的存储服务器，随后将所述舆情数据发送至所确定的存储服务器中进行存储，以实现舆情数据的分布式存储，避免将所有舆情数据存储于统一服务器中，提高舆情数据存储的可靠性，从而提高舆情系统的稳定性和可扩展性。

技术领域

本发明涉及网络信息处理技术领域，尤其涉及一种舆情数据分布式存储方法、装置、存储介质和终端设备。

背景技术

随着互联网技术的不断发展，互联网逐渐成为信息传播的主要载体，进而衍生出对以互联网为载体所发布的信息进行采集，以获取舆情数据的技术，以便通过对所获取的舆情数据进行分析处理，来获知具体的舆情状况，而对舆情数据进行分析处理的前提是需对舆情数据进行可靠、有效地存储。

现有技术的舆情系统中，则是直接将所获取的所有舆情数据统一存储于舆情系统中的预设数据库或者预设服务器中，而随着互联网应用的广泛普及，舆情数据的海量性也越来越突出，直接将海量的舆情数据统一存储至舆情系统的预设数据库或者预设服务器中，将会使得数据存储的可靠性受到严重影响，从而极大地降低舆情系统的稳定性。

发明内容

本发明实施例提供了一种舆情数据分布式存储方法、装置、存储介质和终端设备，能够实现舆情数据的分布式存储，可避免将所有舆情数据存储于统一服务器中，以提高舆情数据存储的可靠性，从而提高舆情系统的稳定性和可扩展性。

本发明实施例的第一方面，提供了一种舆情数据分布式存储方法，包括：

获取分布式爬虫系统爬取的舆情数据；

根据预设提取方式提取所述舆情数据的核心关键词；

抽取分布式存储系统中各存储服务器所存储的初始舆情数据；

对所述初始舆情数据进行文本训练，得到词向量模型和词频-逆文档频率TF_IDF矩阵；

根据所述TF_IDF矩阵分别确定各存储服务器所对应的第一关键词；

基于所述词向量模型，分别获取与各所述第一关键词相关的第二关键词；

根据所述第一关键词和所述第二关键词分别确定各所述存储服务器所对应的样本关键词；

根据所述核心关键词与所述样本关键词的匹配性，确定所述分布式存储系统中存储所述舆情数据的存储服务器；

将所述舆情数据发送至所述存储服务器，以使得所述存储服务器存储所述舆情数据。

本发明实施例的第二方面，提供了一种舆情数据分布式存储装置，包括：

舆情数据获取模块，用于获取分布式爬虫系统爬取的舆情数据；

核心关键词提取模块，用于根据预设提取方式提取所述舆情数据的核心关键词；

初始舆情数据抽取模块，用于抽取分布式存储系统中各存储服务器所存储的初始舆情数据；

初始舆情数据训练模块，用于对所述初始舆情数据进行文本训练，得到词向量模型和词频-逆文档频率TF_IDF矩阵；

第一关键词确定模块，用于根据所述TF_IDF矩阵分别确定各存储服务器所对应的第一关键词；

第二关键词获取模块，用于基于所述词向量模型，分别获取与各所述第一关键词相关的第二关键词；