[发明专利]一种稀疏表示的电厂数据压缩方法

说明书

本发明提供了一种稀疏表示的电厂数据压缩方法，属于电厂运行过程数据的存储和传输领域。该方法按照一种新的策略对电厂数据进行筛选，引入以数据密度分布为准则的模型的设计方法，达到数据压缩的效果。该方法具体步骤如下：通过迭代时间不断更新圆形区域的方式去过滤电厂数据中相似或重合的数据，然后再利用最大过滤准则限制单个圆形区域数据过滤量去防止数据结构被破坏，这样压缩后的电厂数据不仅存储量小，而且数据结构并没发生较大变化。该方法不仅能将压缩率降到15%以下，而且压缩后的数据仍能够保持原始数据的特征，验证所提出算法的可行性与有效性，可应用于现实电厂运行过程中数据的存储和传输领域。

技术领域

本发明属于电厂数据的存储和传输领域，特别涉及一种稀疏表示的电厂数据压缩方法。

背景技术

身边随处可见电力设备的使用，电力设备在人们的生产生活中占据着非常重要的位置，已经与人们的生活息息相关，人们的任何活动都离不开电力行业的支撑。因此，国家大力实行电力行业体制的改革以及相关电力技术的更新换代。但是，由于电力行业涉及的工艺设备以及领域数据较不完备，导致电力设备仍存在运行状态不稳定、设备参数多样化，突发故障与参数复杂性较高等问题。为了提高电力生产的实际价值，实时监测电力设备对电力生产的安全性和经济性具有重要的前瞻意义。

近年来，我国大数据技术取得了快速的发展，已经服务于多个领域包括公共安全、人工智能、工业生产的状态评估和监控等，且都取得了较大的成功。因此，如何将大数据技术服务于电力设备是电力行业近些年较热的一个话题。因为对于任何一家电力企业，每天监测电力设备都会产生大量的电力数据，甚至还包括设备管理、运行、检修、电网维护等方面的数据。面对如此庞大复杂的电厂数据，电力企业如何高效的存储和利用这些数据获取有效信息更好的服务电力行业是必须需要去考虑的两个难点。随着人工智能和大数据技术的快速发展和不断成熟，通过数据挖掘技术就可以从海量数据中得到所需的有效信息，这很好的解决了电力企业所面临的难题之一。但是，对海量电厂数据进行数据挖掘的前提是关于数据的高效存储和传输问题，海量的电厂数据需要被存储后才能供后期用大数据技术进行分析、挖掘、预测。尽管这个问题可以通过大量的存储设备来解决，但是考虑到电厂数据种类繁多，并且电厂数据大部分属于生产过程数据，采集的数据是实时动态变化的，刷新速度快，数据量非常大，把全部实时数据以数据原型长期保存下来显得有点不切实际。针对上述问题，通用的做法是将原始数据进行压缩后进行选择性存储，这样不仅减少存储空间，而且能提高数据的传输效率。考虑到现实的电厂数据不仅体量大而且种类繁多，并且数据以秒级进行数据存储，所形成数据的波动幅度较小，因此更适合采用有损压缩方式进行数据压缩。但是如果用现今较流行的旋转门算法压缩电厂数据则很容易造成数据舍弃过多，形成数据断层和破坏数据结构等现象。因此，如何通过分析和利用电厂数据，研究在特定目标下具有更高压缩比的压缩算法，减少数据存储量的同时提升数据传输效率是需要去考虑的问题。

发明内容

发明目的：本发明针对传统的压缩方法对电厂数据进行压缩时存在破坏原始数据结构和出现数据断层等问题，提出了一种稀疏表示的压缩算法，该方法不仅可以快速的压缩数据，还能有效保留原始数据特征。

技术方案：一种稀疏表示的电厂数据压缩方法，包括如下步骤：

步骤1、数据采集：电厂采集的数据形式为.txt文件，每行分为三个字段，代表测点编码字段、时间戳、负荷值，将其中时间戳为测点时间数值减去2001年1月1日0时0分0秒所形成的差值，编码字段为所在电厂名字的脱敏数据，以时间序列的形式进行存储；

步骤2、数据预处理：对所述步骤1中的时序数据进行预处理得到建模数据集；

步骤3、数据建模：采用建模数据集建立一种基于稀疏表示的电厂数据压缩模型，然后对建模数据集进行数据压缩，记录压缩后的数据文本、压缩率以及压缩时间；

步骤4、实时数据采集与预处理：在线采集电厂上实时测定的时序数据，并对其进行预处理操作；