[发明专利]一种波形数据实时压缩的分段线性压缩方法

说明书

技术领域

本发明涉及一种波形数据实时压缩的分段线性压缩方法。

背景技术

随着交通、石油、化工、冶金、电力等行业监测和控制自动化和智能化的高速发展，对实时数据的处理和存储能力的要求也在逐渐提高，行业监测系统多具有采集点多、分布广、频率高、连续不间断及动态实时等特性，因此，如何对大量实时数据进行数据处理和利用这些海量数据进行分析、挖掘、预测，是目前遇到的严峻挑战。为了缓解在数据处理和存储方面的压力，数据压缩技术正逐步成为工业实时数据处理的必须环节。

以交通行业中桥梁的安全监测为例，为达到实现结构安全监测判别的目的，需要在监测对象的重要部位布设大量传感器设备，实现对区域内大量中小型桥梁、隧道、边坡集成的大量传感器实时监测，就需要对传感器动态数据进行采集、处理、传输与存储，其数据量是极其巨大的。此外，桥梁、隧道、边坡的结构部位受环境和荷载影响明显，关键参数如加速度传感器、应变传感器、应力传感器等数据具有变化比较频繁、具有很强随机性等波形数据特点。因此，研究如何对传感器监测数据进行实时高效和高保真度的数据压缩就成为了工业实时数据处理的一个非常重要的课题。

目前已经提出的过程数据压缩方法主要可分为三类，即分段线性插值方法、矢量量化方法和信号变换方法。其中矢量量化方法和信号变换方法压缩比高，波形特征保留好，但执行速度慢，不能实现在线压缩，因而更多地被应用在雷达、地震测量等没有实时性要求的复杂过程数据的处理。在工业过程数据压缩方面应用最为广泛的则是分段线性方法，分段线性法在对波形信号压缩时压缩比高、速度快，但对动态信号和噪点数据处理不好，易造成波形数据失真及峰值丢失情况，因此，找到一种适用于波形数据实时压缩的分段线性方法，对于波形数据的实时传输和压缩存储具有重要的现实意义。

发明内容

本发明的目的是提供一种波形数据实时压缩的分段线性压缩方法，以克服目前现有技术存在的上述不足。

本发明的目的是通过以下技术方案来实现：

一种波形数据实时压缩的分段线性压缩方法，其特征在于，包括以下步骤：

1）设定波形数据集合的最大允许误差值E、波形数据集合的最大区间长度L、波形数据集合的数据变化记录限值RangeLimit；

2）依据步骤1）设定的最大允许误差值E，计算出分区判断支点，以时间量作为X轴，数值量作为Y轴，组成坐标系，将与最大区间长度为L的数据区间内的第一个数据点A0沿Y轴方向距离为E的两个点，作为数据分区的两个分区判断支点；

3）分别计算最大区间长度为L的数据区间内的后续点与这两个分区判断支点连线的斜率K1和K2，K1为后续点与大于A0的分区判断支点连线的斜率，K1只记录最大值，K2只记录最小值；

4）在设定的最大区间长度为L的数据区间内，只要K1<K2，则继续计算K1和K2，直至找到K1>K2的点作为分区终点，完成一轮数据分区，当在规定的最大区间长度为L的数据区间内，未找到K1>K2的点，则选取最大区间长度为L的数据区间的终点作为分区终点，完成一轮数据分区；

5）以前一轮数据分区的分区终点作为下一轮数据分区的第一个数据点，依据步骤2）、步骤3）、步骤4），进行本轮数据分区，之后每轮数据分区操作类似，均以上轮分区终点为下轮分区起点开始分区操作；

6）分别记录数据分区内的区域极大值和数据分区内的区域极小值；

7）根据设定的数据变化记录限值RangeLimit，对数据进行降噪和压缩判别，分别计算区域极大值和区域极小值与数据分区起始点的数据变化量Rmax和Rmin，当变化量小于记录限值RangeLimit，则被认为是噪点被压缩舍弃，当变化量大于记录限值RangeLimit，则被认为是关键波形点被记录下来，用数据区域起始点及关键波形点之间的直线代替该区间内的全部数据点。

所述步骤3）中当最大区间长度为L的数据区间内只有第一数据点时，K1为负无穷，K2为正无穷，当最大区间长度为L的数据区间内有多个数据点，随着点数越来越多，K1越来越大，K2越来越小。

所述的波形数据实时压缩的分段线性压缩方法，通过调整最大允许误差值E、最大区间长度L、数据变化记录限值RangeLimit，可实现不同等级的数据压缩比例。