[发明专利]舆情数据分布式存储方法、装置、存储介质和终端设备

权利要求书

1.一种舆情数据分布式存储方法，其特征在于，包括：

获取分布式爬虫系统爬取的舆情数据；

根据预设提取方式提取所述舆情数据的核心关键词；

抽取分布式存储系统中各存储服务器所存储的初始舆情数据；

对所述初始舆情数据进行文本训练，得到词向量模型和词频-逆文档频率TF_IDF矩阵；

根据所述TF_IDF矩阵分别确定各存储服务器所对应的第一关键词；

基于所述词向量模型，分别获取与各所述第一关键词相关的第二关键词；

根据所述第一关键词和所述第二关键词分别确定各所述存储服务器所对应的样本关键词；

根据所述核心关键词与所述样本关键词的匹配性，确定所述分布式存储系统中存储所述舆情数据的存储服务器；

将所述舆情数据发送至所述存储服务器，以使得所述存储服务器存储所述舆情数据。

2.根据权利要求1所述的舆情数据分布式存储方法，其特征在于，所述获取分布式爬虫系统爬取的舆情数据，包括：

接收待爬取的舆情数据源，并根据预设分类方式对所述舆情数据源进行分类处理，得到多个分类组；

确定分布式爬虫系统中与各分类组对应的爬取服务器；

将各分类组中的舆情数据源发送至所对应的爬取服务器，以使得各爬取服务器分别从所接收到的舆情数据源中爬取相关的舆情数据。

3.根据权利要求1所述的舆情数据分布式存储方法，其特征在于，所述基于所述词向量模型，分别获取与各所述第一关键词相关的第二关键词，包括：

分别将各所述第一关键词输入至所述词向量模型中，得到与各所述第一关键词的语义相似度达到预设相似度阈值的词语，并将所得到的词语确定为与各所述第一关键词相关的第二关键词。

4.根据权利要求1所述的舆情数据分布式存储方法，其特征在于，在根据所述核心关键词与所述样本关键词的匹配性，确定所述分布式存储系统中存储所述舆情数据的存储服务器之前，包括：

分别对所述核心关键词和所述样本关键词进行向量化处理，得到所述核心关键词对应的第一向量和所述样本关键词对应的第二向量；

计算所述第一向量与各所述第二向量的余弦相似度；

根据所述余弦相似度确定所述核心关键词与所述样本关键词的匹配性。

5.根据权利要求1所述的舆情数据分布式存储方法，其特征在于，所述根据所述核心关键词与所述样本关键词的匹配性，确定所述分布式存储系统中存储所述舆情数据的存储服务器，包括：

基于所述核心关键词确定所述舆情数据的第一舆情类型；

根据所述样本关键词确定各存储服务器对应的第二舆情类型；

根据所述第一舆情类型与所述第二舆情类型的匹配性，确定所述第一舆情类型所对应的第一存储服务器，并将所述第一存储服务器确定为所述分布式存储系统中存储所述舆情数据的存储服务器。

6.根据权利要求1至5中任一项所述的舆情数据分布式存储方法，其特征在于，在将所述舆情数据发送至所述存储服务器，以使得所述存储服务器存储所述舆情数据之后，包括：

获取用户输入的与预设舆情事件相关的搜索关键词；

根据所述搜索关键词确定分布式存储系统中存储与所述预设舆情事件相关的舆情数据的存储服务器；

从所确定的存储服务器中搜索与所述搜索关键词相匹配的第一目标舆情数据；

基于预设选取方式从所搜索到的第一目标舆情数据中选取预设数量的第二目标舆情数据输出给所述用户。