[发明专利]生产型时序数据的实时全息无损压缩方法

说明书

技术领域

本发明涉及一种数据压缩方法，具体来说是一种对生产型时序数据进行的实时全息无损压缩方法。

背景技术

目前，从计算机硬软件到工业控制技术领域都在飞速发展，计算机领域的多核技术、多节点高速物理内存技术都已经成为成熟稳定的并行技术支撑。在工业控制领域，尤其是电力行业，由于控制和应用的精细化程度不断提升，人们对生产型时序数据的应用需求已经提高到了新的高度：生产型时序数据的采样已经精确到100帧/秒；和分析运行相关的时序数据通常都要求在线存储5年以上等。由于单个数据的精度高、多年的运行过程中积累了相当大量的实时数据，如果单纯用存储设备存储这些数据，将需要耗费大量的存储设备和机房用于存放这些设备，另外，这些数据不但需要安全有效地存储，还需要在后期的生产实践中随时提取和访问。而现代生产控制领域对数据的规模和响应速度方面都提出了非常高的要求，可以说，这对生产经营者来说，都是个巨大的挑战。为满足上述需求，不得不耗费相当大量的生产经营成本以达到目的。尤其在数据的压缩存储技术方面，现有的数据处理方法都无法直接运用于上述领域的生产型时序数据上。

传统上对生产型时序数据的处理有两种策略：(1)文件级别的压缩，类似于WinZip等，这种压缩模式不能很好地解决生产型时序数据的原因包括：压缩实时性差、压缩期运算量巨大和回取时需要解压整个文件。同时，这类压缩技术在处理生产型实时数据时的针对性不强，压缩比低下。(2)旋转门有损压缩，即采用一定的线性过滤规则，丢弃一部分变化较小的数据，以过滤来达到压缩的目地；旋转门有损压缩的实现方案如下：

旋转门压缩算法(SDT)是一种直线趋势化压缩算法，其本质是通过一条由起点和终点确定的直线代替一系列连续数据点。该算法需要记录每段时间间隔长度、起点数据和终点数据，注意到前一段的终点数据即为下一段的起点数据。其基本原理较为简单，见附图1所示的原理图：第一个数据点a上下各有一点，它们与a点之间的距离为E，这两个点作为“门”的两个支点。当只有第一个数据点时，两扇门都是关闭的；随着点数越来越多，门将逐步打开；注意到每扇门的宽度是可以伸缩的，在一段时间间隔里面，门一旦打开就不能闭；只要两扇门未达到平行，或者说两个内角之和小于180°，这种“转门”操作即可继续进行。图中第一个时间段是从a到e，结果是用a点到e点之间的直线代替数据点(a，b，c，d，e)；第二个时间间隔从e点开始，开始时两扇门关闭，然后逐步打开，后续操作与前一段类似。

旋转门压缩算法(SDT)虽然实时性较强，但由于其压缩数据时，会丢弃一部分数据，因此也不能满足对生产型时序数据需要无损压缩的需求。

发明内容

本发明的目的在于提供一种生产型时序数据的实时全息无损压缩方法，该方法能够对各行各业的生产型时序数据和文件进行高效、无损地压缩，能够满足基础工业、电力、电信、化工、钢铁等生产数据庞大的行业中对时序性数据传输、分发、计算加工和存储的迫切需求。

本发明的目的可通过以下的技术措施来实现：

一种生产型时序数据的实时全息无损压缩方法，其特征在于：对序号为1～N的N个生产型时序数据中每个数据的三个数值域：时间标签、数据数值和数据质量分别进行独立压缩，并分别形成时间标签压缩数据、数据数值压缩数据和数据质量压缩数据；再将三部分压缩数据合并为一个完整的压缩数据。

其中，对所述时间标签的压缩过程为：

1a)、将第一个时间标签记录到时间标签压缩数据中，计算前两个时间标签的差值作为预测时间标签差值，并记录到时间标签压缩数据中；

1b)、从第三个时间标签开始，依次计算当前时间标签与其前一个时间标签之间的时间标签差值，并将当前时间标签差值与预测时间标签差值对比：如果两者相等，则当前时间标签为规则时间标签，并且，不处理当前时间标签；否则，当前时间标签为非规则时间标签，将当前的非规则时间标签及其序号记录到时间标签压缩数据中；

1c)、重复步骤1b)直到处理完全部的N个时间标签；

对所述数据数值的压缩过程为：

2a)、将第一个数据数值记录到数据数值压缩数据中；

2b)、计算前K+1个数据数值中两两相邻值之间的差值，共得到K个预测数据数值差值，记为：ΔV₀，……，ΔV_k-1，并记录到数据数值压缩数据中；所述预测数据数值差值的序号为0～k-1；