[发明专利]一种工业过程工况数据快速随机分布存储方法

说明书

一种工业过程工况数据快速随机分布存储方法,以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，每个数据节点均与数据中心数据交互，具体步骤如下：S1:采集设备运行工况数据进行预处理后存入数据中心缓存，并在缓存中对数据种类进行编号；S2:对采集到的工况数据进行去冗余处理；S3:计算每种数据的量占总数据量的比重P_i；S4:设置阈值向量P′₁,P′₂,...,P′_i；S5:通过比较P_i与阈值向量，将该种数据存入不同的从服务器中。本发明所述的工业过程工况数据快速随机分布存储模式，提高了信息录入速度并降低了系统的运行负载。

技术领域

本发明涉及计算机数据数据信息存储技术领域，特别涉及一种工业过程工况数据快速随机分布存储模式。

背景技术

工业过程工况数据是指在工业领域信息化应用中产生的数据。工业过程工况数据运用先进大数据技术，贯穿于工业的设计、工艺、生产、管理、服务等各个环节，使工业系统具备描述、诊断、预测、决策、控制等智能化功能。工业过程工况数据具有数据体量大、分布广泛、结构复杂、速度需求多样化、数据价值不均匀五大特征。

现有的工业过程工况数据存储系统结合内存数据库和磁盘历史数据库存储实时历史数据，存在数据采集成本高、实时性不高、数据丢失、用户体验差等问题，应用于实时性要求高、数据量不可预知、并发性强的大型工业系统中情况会更加严峻。工业过程工况数据的采集和处理具有高并发性、高实时性，提取海量数据处理需要花费比较多的资源和时间，并且数据存储效率比较慢，这些都降低了整个系统的实时性，同时增大了系统的运行负载。这就导致存储服务器成为了系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足工业过程工况数据存储应用的需要。

发明内容

本发明的目的就是提供一种工业过程工况数据快速随机分布存储方法，提高了工况数据录入效率，满足工业过程工况数据并发性强、实时性高、数据量巨大的要求；并兼具有节约内存空间，降低系统运行负载和整体功耗的作用。

本发明的目的是通过这样的技术方案实现的，包括有以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，数据中心分别与每个数据节点数据交互，具体步骤如下：

1)采集设备运行工况数据进行预处理后存入数据中心缓存，并在缓存中对数据种类进行编号；

2)对缓存中的工况数据进行去冗余处理；

3)计算每种数据的量占总数据量的比重∑P_i＝1，其中S_i为某类数据量，S为总数据量；

4)设置阈值向量P′₁,P′₂,...,P′_i，0＜P′₁＜...＜P′_n＜1，并设定n₁，n₂，...，n_k的值，其中n₁，n₂，...，n_k均为大于0的整数，其中阈值向量和n_i根据实际需要设置不同的个数和数值大小；

5)比较P_i与P′₁,P′₂,...,P′_i的大小：若P′_i＜P′₁，则n₁种数据存入同一从服务器中；若P′₁＜P_i＜P′₂，则n₂种数据存入同一从服务器中；依次类推，若P_i＞P′_i，则该种数据存入n_k个从服务器中。

进一步，步骤1)中所述在缓存中对数据种类进行编号的具体步骤如下：