[发明专利]一种实时数据库中基于规则集的快速压缩方法

说明书

技术领域

本发明属于规则集领域，尤其涉及一种实时数据库中基于规则集的快速压缩方法。

背景技术

随着工业系统的大型化，数据存储的压力急剧增加。通用的数据压缩技术包括PPM算法、BWT算法、LZ系列算法均是对单一规则(模型)和单一域的简单压缩，随着规模集增大，压缩效率逐渐降低，处理时间也会越来越长。因此，本文主要针对实时数据库中数据存储环节的压缩算法提出改进办法。

传统压缩算法

一、旋转门压缩算法

通过查看当前数据点与前一个被保留的数据点所构成的压缩偏移覆盖区来决定数据取舍。偏移覆盖区若能覆盖两者之间的所有数据点，则不保留该数据点，否则保留当前数据点的前一个节点，并作为最新保留的数据点作为新的起点。实时数据库将数据进行例外测试，变化程度超出预设偏差时，数据将被收集，其一以数据快照形式保存在主存，其二经过压缩后进行数据存储归档。

其原理如下图所示，设ΔE为SDT算法的压缩精度，t₀为第一个保留节点，从t₀开始作±ΔE的边界线，随着数据点的增加，旋转门进行例外测试，直到数据点命中或超出边界线，保留当前节点，则完成一次压缩段。接着，以当前节点为起始点同样作±ΔE的边界线，直到旋转门转向，录入新的保留节点。最后重复以上步骤，完成所有节点的压缩。可以看出，经过旋转门压缩后，t₀～t₇实际只需保留t₀,t₄,t₇三个节点，压缩率为62.5％。

然而，该数据压缩算法效率跟数据本身关联性比较大。如果数据变化呈正玄波变化规律，则压缩效果较好，否则数据为随机点时，几乎不会压缩。另外，ΔE的取值很重要，过小则压缩率很低，过大则解压后的误差较大。在工业环境中，压缩诸如温度、线速度、张力等参数的数据时，效果较好。

二、死区限值压缩算法

死区限制压缩算法通过判断当前值偏离最后一个记录的范围是否大于死区限值，决定是否记录此数据。如果大于死区限值，则记录该数据并以此数据为新的起点进行死区限值压缩。假设误差精度ΔE为5，则第一次死区范围为[23.5,33.5]，如果出现死区外的点，如46.5则保留节点，并更新死区为[41.5,51.5]。这样10个数据点，只需保留28.5,46.5,55这3个数据点，压缩率为70％。可知，该类压缩算法适用于数据点上下浮动率较小的情况。

三、基于斜率比较的旋转门压缩算法

斜率比较法只存储斜率最大和最小的数据值,当前节点与上一个保留节点形成的斜率如果在最大和最小斜率之间，则舍弃该节点。否则，需判断最大斜率和最小斜率的数据是否落在己存储数据和新数据形成的平行四边形内，从而决定存储前一个点(落在平行四边形外)或者继续接收新的数据点(落在平行四边形内)。

综上所述，现有技术存在的问题是：现有技术大多是对单一规则(模型)和单一域的简单压缩，随着规模集增大，压缩效率逐渐降低，处理时间也会越来越长。

发明内容

针对现有技术存在的问题，本发明提供了一种实时数据库中基于规则集的快速压缩方法，

本发明是这样实现的，一种实时数据库中基于规则集的快速压缩方法，所述实时数据库中基于规则集的快速压缩方法先提取每条规则信息，然后利用Hash运算将规则散列，并以散列值作为查找关键字构建二叉树；为二叉树的每个叶节点建立冲突列表，在冲突列表中逐条规则比较；最后，遍历二叉树进行规制合并，直至规则集中没有可以合并的规则。

进一步，所述实时数据库中基于规则集的快速压缩方法包括以下步骤：

步骤一，规则集标志位置零，构建新的空二叉树；

步骤二，对于未产生合并操作的规则，进行Hash散列；

步骤三，进行节点匹配，若匹配成功则返回冲突列表，进行合并测试；否则作为新的节点插入二叉树，并建立冲突列表；

步骤四，遍历匹配节点的冲突列表，若该规则与冲突列表内的所有规则均合并，则将其插入冲突列表；

步骤五，重复步骤二～步骤四，直至所有规则都被处理；

步骤六，遍历二叉树，获取所有冲突列表；

步骤七，将冲突列表中的规则合并，有合并发生时，合并标志位置1；对于规制R_i若产生了被合并或合并其他规则的合并操作，分别置对应标志；

步骤八，删除二叉树，如果合并标志位为1，则返回步骤一；