[发明专利]数据压缩方法及装置

说明书

技术领域

本发明涉及数据压缩领域，具体地，涉及一种数据压缩方法及装置。

背景技术

实体企业的工作空间使用或产生了海量的实时数据，这些实时数据的读写和特征分析效率关系着生产运维决策的制定和执行的效率，尤其在即将到来的“工业4.0”或《中国制造2025》时代，海量数据的处理将越发重要。

在目前的存储、读写、搜索架构中，实时数据并需要全部保存，因此，可以通过有损数据压缩算法来对实时数据进行处理，现有技术中使用的有损数据压缩算法例如可以是死区压缩算法、PI的旋转门压缩算法及其扩展等算法，这些数据压缩算法兼顾了特征数据覆盖率、计算和存储性能，在工业界具有广泛的应用。

图1示出了死区压缩算法的原理示意图。死区压缩算法工作在一维线型空间中，如图1所示，在时间点-数据值的坐标中，比对当前数据和上一个保存的数据的偏差是否位于预先设定好的变化区间内，即死区范围内，若是则将当前数据确定为舍弃点并将其过滤掉，否则将当前数据确定为保存点并将其保存，新的保存点与先前保存点之间的数据偏移超过预先设定好的变化区间。在确定出新的保存点之后，根据该新的保存点来确定位于该新的保存点之后的数据点是保存还是舍弃。死区压缩算法适用于波动稳定的数据压缩，不适用于总是沿一个方向波动的数据压缩。

图2示出了PI的旋转门压缩算法的原理示意图。PI的旋转门压缩算法工作在二维线型空间中，如图2所示，在时间点-数据值的坐标中，使用上一个保存点A和当前的数据点B画一条线段AB，并按照设定的偏差将此线段在垂直方向上向上向下移动，进而扩展出一个二维数据空间1。选择上一个保存点A和当前的数据点B的下一个数据点C继续上述过程，扩展出一个二维数据空间2。如果后一个二维数据空间2能包含位于上一个保存点A和下一个数据点C之间的所有数据点，则判断数据点C之前的数据点B为舍弃点，否则判断据点C之前的数据点B为保存点。继续上述的判断过程，可以判断出图2中，二维数据空间3能够包含保存点A与数据点D之间的所有数据点(数据点B和数据点C)，则数据点D的前一数据点C为舍弃点。二维数据空间4并不能够包含保存点A与数据点E之间的所有数据点(数据点B、数据点C和数据点D)，则数据点E的前一数据点D为保存点。然后根据保存点D来对保存点D之后的数据点继续上述的判断过程。PI的旋转门压缩算法适用于慢变化的数据。

从上述对死区压缩算法、PI的旋转门压缩算法的描述中可知，现有技术进行数据压缩时，均采取一刀切的方式，即根据数据点在一条边界线的内侧还是外侧、数据点在一个边界四边形的内侧还是外侧，来决定舍弃或保存数据，本质上都是检查数据点的数据值是否在纯人为设定的上限或下限之间来决定舍弃或保存。

发明内容

本发明实施例的目的是提供一种数据压缩方法及装置，以解决或至少部分解决上述技术问题。

为了实现上述目的，本发明实施例提供一种数据压缩方法，该方法包括：将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及保存被确定要被保存的数据点；其中，确定下一个要被保存的数据点包括：按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。