[发明专利]自动化的配电变压器重过载流水线数据处理及预测方法

说明书

本发明提供了自动化的配电变压器重过载流水线数据处理及预测方法，提出一个配变重过载数据处理及预测的流水线作业框架，基于该框架实现数据预处理、数据加载、模型训练、预测结果存储的自动化流水线作业。其中，在数据预处理阶段，通过MapReduce大数据技术，解决了处理100G+电流数据的性能问题，使得本方法可支持数量众多的配电变压器的数据加工。另外，在模型构建阶段，基于多层神经网络为每一个变压器构建一个独立的预测模型，充分考虑不同变压器的个性化特点，从而提升预测的准确性。同时，通过任务分片和并行计算，来提高模型训练过程的运行效率。

技术领域

本发明涉及一种自动化的配电变压器重过载流水线数据处理及预测方法，是一种对配电变压器的重过载情况进行自动化预测的方法。

背景技术

配电变压器是电能分配的关键设备，承载着电网末端的供电能力，它的负载状态的轻重决定了用户所使用的电能的质量的好坏。如果配电变压器发生故障，可导致其所供台区发生停电，由此影响供电可靠性和用户满意度，进而损害供电企业的社会形象。

对于配电变压器负载状态的评估和预判，一直以来都缺乏有效的在线监测方式和技术手段来支撑，主要依靠人工经验，这种传统的评估方式存在无法覆盖所有配电变压器和评估结果不准等问题。随着电网用户对供电质量和可靠性的要求越来越高，对于配变重过载预测的需求也日趋突出，迫切需要一种能够减少人工投入，同时能提高配变重过载状态预测效率和精度的技术方法。

发明内容

本发明的提出正是为了解决人工分析和预测配变重过载所存在问题，通过一个配变重过载数据处理流水线框架实现数据处理的自动化、流水线作业，无需人工干预。通过大数据处理技术，解决海量数据的运算问题，通过为每个变压器构建独立的多层神经网络模型解决预测不准确的问题。

为了实现上述目的，本发明提供如下技术方案：

1)配变重过载数据处理流水线框架

该框架实现了流水线处理中所需的任务及作业抽象，作业包含多个任务，任务对象支持众多的运行参数的自定义，包括：

·可定义任务的执行参数

·可定义任务的输入、输出、执行过程

·可定义任务的分片策略和并发数量

·可定义任务的依赖任务，通过依赖关系构建流水线

·可定义任务能使用的资源，如CPU、内存

2)基于MapReduce的数据预处理任务流水线

为解决处理100G+原始数据的性能问题，采用MapReduce来提升预处理任务的吞吐能力和性能；数据预处理任务包括：数据去重、处理缺失值、行列变换、三相均值计算、重过载的计算、构造算法特征；同时，采用上述流水线框架，实现各个任务间的前后依赖与自动执行；

数据处理的对象是变压器的15分钟电流数据，包括A/B/C三相电流数据，数据处理的流程如下：

a.根据变压器ID、数据采集时间、相别这三个字段对数据去重

读取变压器的电流数据表，包括：变压器ID、数据采集时间、相别、采集值等字段，分别记为：tid，dt，phase，value。根据tid，dt，phase这三列进行去重操作，得到唯一的去重后数据，结果表的格式：tid，dt，phase，value；

b.根据变压器ID、数据采集日期、相别进行分组，补上缺失日期的数据