[发明专利]一种基于大数据的数据跨进程压缩存储方法及系统

说明书

本发明适用于数据处理技术领域，提供了一种基于大数据的数据跨进程压缩存储方法及系统，解决了现有跨进程数据传输方法无法对对象数据进行优先级确定，并基于优先级先后进行压缩传输，增加了跨进程数据传输方法负载的问题；所述方法包括：获取待压缩任务集，加载目标压缩任务集，确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列，通过至少一组服务进程对排序压缩队列进行压缩处理，得到压缩存储后的数据集；本发明实施例通过优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列，基于不同数据采集终端的优先级来处理数据，提高了数据压缩和存储的效率。

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于大数据的数据跨进程压缩存储方法及系统。

背景技术

跨进程通信的目的在于实现进程间数据的分享以及交互，而典型的跨进程通信的应用场景是剪切板上数据的复制与粘贴，但这种跨进程通信的方式仅限于一些String类数据的传送，如果需要传送一个对象的话，而这个对象可能包含有多种形式的数据类型，数据占用较大空间，且数据的优先处理需要明确，因此需要将类进行序列化。

中国专利CN112764946A公开了一种跨进程数据传输方法、装置及电子设备、存储介质，该方法应用于安卓操作系统中的数据传输层，所述方法包括：通过第一进程中实现的数据传输接口，接收第一进程的传输数据；将传输数据写入到内存空间中；通过第二进程中实现的数据传输接口，接收第二进程对传输数据的获取请求；根据获取请求，从内存空间中提取传输数据并发送给第二进程；但是现有跨进程数据传输方法无法对对象数据进行优先级确定，并基于优先级先后进行压缩传输，增加了跨进程数据传输方法的负载，为了解决上述问题，我们提出了一种基于大数据的数据跨进程压缩存储方法及系统。

发明内容

本发明提供一种基于大数据的数据跨进程压缩存储方法及系统，旨在解决现有跨进程数据传输方法无法对对象数据进行优先级确定，并基于优先级先后进行压缩传输，增加了跨进程数据传输方法负载的问题。

本发明是这样实现的，一种基于大数据的数据跨进程压缩存储方法，所述基于大数据的数据跨进程压缩存储方法包括：

获取待压缩任务集，其中，所述待压缩任务集中包括不同数据采集终端收集到的待处理数据，待处理数据对应至少一组服务进程；

加载目标压缩任务集，基于目标压缩任务集创建压缩队列，逐一遍历创建的压缩队列，通过预训练的优先级确定模型对压缩队列中的目标压缩任务集的优先顺序，形成排序压缩队列；

获取优先级排序后的排序压缩队列，排序压缩队列导入服务进程中，通过至少一组服务进程对排序压缩队列进行压缩处理，得到压缩存储后的数据集。

优选地，所述获取待压缩任务集的方法，具体包括：

响应数据采集终端跨进程指令；

基于Zabbix框架与不同数据采集终端建立联系，创建不同数据采集终端的Zabbix组织架构图；

实时获取数据采集终端采集到的待处理数据，获取待处理数据后，对待处理数据预处理。

优选地，所述获取待处理数据后，对待处理数据预处理的方法，具体包括：

加载待处理数据；

针对任一数据采集终端环境下数据传输端口，获取数据传输端口所在存储位置；

基于数据传输端口所在存储位置，将待处理数据暂存在云数据存储空间内，并建立数据传输端口与云数据存储空间之间的索引关系。

优选地，所述获取待处理数据后，对待处理数据预处理的方法，具体还包括：

加载数据传输端口与云数据存储空间之间的索引关系；