[发明专利]一种基于大数据的数据跨进程压缩存储方法及系统

权利要求书

1.一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述基于大数据的数据跨进程压缩存储方法包括：

获取待压缩任务集，其中，所述待压缩任务集中包括不同数据采集终端收集到的待处理数据，待处理数据对应至少一组服务进程；

加载目标压缩任务集，基于目标压缩任务集创建压缩队列，逐一遍历创建的压缩队列，通过预训练的优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列；

获取优先级排序后的排序压缩队列，排序压缩队列导入服务进程中，通过至少一组服务进程对排序压缩队列进行压缩处理，得到压缩存储后的数据集。

2.如权利要求1所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述获取待压缩任务集的方法，具体包括：

响应数据采集终端跨进程指令；

基于Zabbix框架与不同数据采集终端建立联系，创建不同数据采集终端的Zabbix组织架构图；

实时获取数据采集终端采集到的待处理数据，获取待处理数据后，对待处理数据预处理。

3.如权利要求2所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述获取待处理数据后，对待处理数据预处理的方法，具体包括：

加载待处理数据；

针对任一数据采集终端环境下数据传输端口，获取数据传输端口所在存储位置；

基于数据传输端口所在存储位置，将待处理数据暂存在云数据存储空间内，并建立数据传输端口与云数据存储空间之间的索引关系。

4.如权利要求3所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述获取待处理数据后，对待处理数据预处理的方法，具体还包括：

加载数据传输端口与云数据存储空间之间的索引关系；

基于数据传输端口与云数据存储空间之间的索引关系，获取待处理数据；

对待处理数据进行滤波处理，消除干扰数据，随机采用一致性算法，对滤波处理后的待处理数据剔除，得到剔除后的待处理数据。

5.如权利要求4所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述创建不同响应数据采集终端的Zabbix组织架构图的方法，具体包括：

识别数据采集终端所位置，对数据采集终端的位置简化处理，得到关键组织架构点；

根据数据采集终端之间的内在关联组织以及关联组织架构点构建组织架构图。

6.如权利要求5所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述通过预训练的优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列的方法，具体包括：

加载压缩队列；

遍历压缩队列中目标压缩任务集，识别目标压缩任务集中待处理数据；

获取基于重要性和相关性分析，调取数据采集终端的Zabbix组织架构图，基于随机森林监督模型确定数据采集终端的Zabbix组织架构图中数据采集终端的优先级。

7.如权利要求6所述的一种基于大数据的数据跨进程压缩存储方法，其特征在于，所述通过预训练的优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列的方法，具体还包括：

获取待处理数据，通过随机森林监督模型确定待处理数据所对应的数据采集终端的优先级，形成排序压缩队列。

8.一种基于权利要求1-7任一所述的基于大数据的数据跨进程压缩存储方法的一种基于大数据的数据跨进程压缩存储系统，其特征在于，所述基于大数据的数据跨进程压缩存储系统包括：

终端服务器，用于获取待压缩任务集，其中，所述待压缩任务集中包括不同数据采集终端收集到的待处理数据，待处理数据对应至少一组服务进程；

前端处理器，用于加载目标压缩任务集，基于目标压缩任务集创建压缩队列，逐一遍历创建的压缩队列，通过预训练的优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列；

压缩存储云平台，用于获取优先级排序后的排序压缩队列，排序压缩队列导入服务进程中，通过至少一组服务进程对排序压缩队列进行压缩处理，得到压缩存储后的数据集。