[发明专利]一种实时历史数据动态无损压缩方法

说明书

技术领域

本发明涉及一种过程数据压缩方法，尤其是涉及一种能够对生产过程数据进行缓存预处理和采取全量程阈值多模压缩并无损保存动态数据的一种实时历史数据动态无损压缩方法。

背景技术

在工业生产过程中，由于其过程控制系统(Process Control System，简称PCS系统)或生产信息系统(Operation Information System，简称OIS系统)需要采集和存储的生产过程数据量非常大、频度非常高、持续时间非常长，因此，都会采取对实时历史数据进行压缩处理，合理舍弃部分数据采样点或对过程数据进行数学拟合之后再加以存储的方法以减少其对物理存储空间的需求、提高计算机处理效率和缩短实时历史数据的检索时间。

而作为实时历史数据库关键技术之一的数据压缩方法是随着计算机信息处理技术的发展而在不断变化的。也陆续出现了许多通用的压缩技术(如PPM算法、BWT算法、LZ算法等)和专用压缩技术(如多媒体数据压缩技术和过程数据压缩技术等)，前者不关心数据的具体特征，仅按计算机存储的最小单元进行压缩处理；而后者则考虑了数据本身的基本应用特征以保证一定的复现精度。

由于在实际的工业生产过程应用中，用户往往更加关心的是数据的波动、突变和越限等变化，而对数值的微小变化并不需要时刻加以关注，所以，一般在过程数据压缩技术中多采用了有损压缩算法。最常用的是死区压缩法和矢量压缩法，其中，PCS系统大多采用的是死区压缩法，即可对过程数据设定一个较小的死区，当过程数据的变化超过该死区时，才存储其数据样本，这种处理方法简单、快速、压缩效率高，但数据的失真也较为严重。而在OIS系统中，一种由美国OSI公司提出的旋转门压缩算法(Swinging Door Compression)得到了广泛的应用，“旋转门”算法对慢变数据具有较高的压缩比，算法成熟可靠。经过对国内外专利和技术文献的检索和分析发现，已有许多研究者针对上述两种常用的过程数据压缩方法的不足之处进行了改进。如中国专利CN1223951C^[1]、CN100430943C^[3]等采用斜率或偏差修正等方法对旋转门算法进行了自适应或二级压缩优化；中国专利CN10035437C^[2]等还将通用压缩算法LZW和旋转门等实时数据压缩算法结合起来，以提高数据压缩效率。为了减少数据采集过程中噪声的影响，中国专利CN100435136^[4]还给出了一种基于最小二乘法的线性滤波方法，上述专利和其中的引用文献也给出了现有技术存在的问题和各种提高压缩效率的改进方法。

随着近年来计算机处理能力的迅速提高和硬件存储成本的不断降低，过程数据压缩技术的关注点也从因受计算机性能和成本的制约而单纯考虑压缩效率；转到了更为关注有损压缩方法的数据保真度。中国专利CN101692251A^[5]、CN101807925A^[6]等分别采用基于函数参数估计和基于数值排序线性拟合的方法对数据压缩过程进行了拟合优化。

而前述的这些方法都对全部过程数据及其全量程范围采取了相同的压缩模式和压缩精度，这种处理方法虽然简单，却并没有针对各种过程数据的不同应用特征，因此会不同程度地丢失许多能够及时反映过程故障征兆或暂态过程的数据变化，因而复现数据仅适合于稳态分析。

众所周知，过程数据压缩技术的关键在于时间性能、空间性能和实现难度三者的平衡和折衷，在本申请人完成的上海市科技创新专项中，针对锅炉数字化设计和仿真分析对历史数据的需求，对现有的过程数据有损压缩方法的适应性问题进行了深入的分析。着重考虑了稳态和动态等不同工况下的数据保真度和数据全量程范围内的压缩有效性。由于目前PCS或OIS系统的软硬件实时处理能力和存储模式、性价比都较以往得到了根本的提高，完全可以采用符合不同过程数据应用特征的压缩算法在数据压缩有效性和保真度等方面实现性能的提升。

参考文献：

[1].CN1223951A，自适应的历史数据压缩方法

[2].CN100385437C，实时数据压缩方法

[3].CN100430943C，一种过程工业历史数据智能两级压缩方法

[4].CN100435136C，一种基于最小二乘线性拟合的实时数据压缩方法

[5].CN101692251A，基于函数参数估计的通用过程数据在线压缩、解压方法

[6].CN101807925A，一种基于数值排序线性拟合的历史数据压缩方法

发明内容