[发明专利]自动化的配电变压器重过载流水线数据处理及预测方法

摘要

本发明提供了自动化的配电变压器重过载流水线数据处理及预测方法，提出一个配变重过载数据处理及预测的流水线作业框架，基于该框架实现数据预处理、数据加载、模型训练、预测结果存储的自动化流水线作业。其中，在数据预处理阶段，通过MapReduce大数据技术，解决了处理100G+电流数据的性能问题，使得本方法可支持数量众多的配电变压器的数据加工。另外，在模型构建阶段，基于多层神经网络为每一个变压器构建一个独立的预测模型，充分考虑不同变压器的个性化特点，从而提升预测的准确性。同时，通过任务分片和并行计算，来提高模型训练过程的运行效率。

主权项

1.自动化的配电变压器重过载流水线数据处理及预测方法，其特征是：首先，构建配变重过载数据处理流水线框架，实现多任务的流水线作业，支持任务的运行参数设置；其次，基于MapReduce大数据处理技术，实现海量数据的清洗、转换和特征构造等流水线作业；然后，在模型训练阶段，实现数据读取和模型训练的并行化，采用多层神经网络进行预测模型的构建，提升预测的准确性；最后，将预测结果写入数据库，完成整个流水线作业；其中：1)配变重过载数据处理流水线框架该框架实现了流水线处理中所需的任务及作业抽象，作业包含多个任务，任务对象支持众多的运行参数的自定义，包括：·可定义任务的执行参数·可定义任务的输入、输出、执行过程·可定义任务的分片策略和并发数量·可定义任务的依赖任务，通过依赖关系构建流水线·可定义任务能使用的资源，如CPU、内存2)基于MapReduce的数据预处理任务流水线为解决处理100G+原始数据的性能问题，采用MapReduce来提升预处理任务的吞吐能力和性能；数据预处理任务包括：数据去重、处理缺失值、行列变换、三相均值计算、重过载的计算、构造算法特征；同时，采用上述流水线框架，实现各个任务间的前后依赖与自动执行；数据处理的对象是变压器的15分钟电流数据，包括A/B/C三相电流数据，数据处理的流程如下：a.根据变压器ID、数据采集时间、相别这三个字段对数据去重读取变压器的电流数据表，包括：变压器ID、数据采集时间、相别、采集值等字段，分别记为：tid，dt，phase，value。根据tid，dt，phase这三列进行去重操作，得到唯一的去重后数据，结果表的格式：tid，dt，phase，value；b.根据变压器ID、数据采集日期、相别进行分组，补上缺失日期的数据根据dt得到对应的日期值(Y/M/D)，记为date，对tid，date，phase进行分组统计，从而得到其缺失数据的日期，对每个tid，phase所缺失的日期，补上该日期的00:00:00的数据即可，通过后续的行列变换，即可生成出其他95个时间点的列，结果表的格式：tid，dt，date，phase，value；c.根据变压器ID、数据采集日期、相别做行列转换将原来每天96个时间点的值按照15分钟数据的顺序转换到同一行数据上，将96行数据变为96个列。即对tid,dt,date,phase,value应用行转列变换，将原来每天的96条数据转换到同一行上，变换后的格式为：tid,date,phase,v1,v2,v3,…,v96；d.根据变压器ID、相别分组并计算中位数，用中位数填充缺失值用变压器ID、相别分组后计算96列的中位数，用计算得到的中位数填充缺失值，即计算每个tid、phase组合的96列(v1,v2,v3,…,v96)的中位数，用计算得到的中位数填充该tid、phase组合的96列的缺失值，结果表的格式：tid,date,phase,v1,v2,v3,…,v96；e.根据变压器ID、数据采集日期，计算96列的负载率根据tid,date进行分组，计算以上96列(v1,v2,v3,…,v96)的A/B/C三相的电流均值：CA_i，得到中间表：tid,date,ca₁,ca₂,ca₃,…,ca₉₆；根据变压器额定容量换算得到额定电流CR，计算以上每个日期的96列的负载率：得到负载率表：tid,date,r1,r2,r3,…,r96。f.按天计算配变的重过载状态用H和O分别表示重载、过载的百分比的值，一般情况下H＝100％，O＝80％。根据重过载标准，油式变压器持续2小时、干式变压器持续1小时处于H和O之上则记为发生重载或过载；此过程转换为计算逻辑为：将R_i大于H和O的值记为字符1，将R_i小于H和O的记为0，再96列的0、1字符进行字符串拼接，得到一个长度为96的字符串，再用正则表达式匹配字符串，即可得到其是否发生重过载；记发生重载为1、过载为2，则可得到重过载结果表，包括列：tid,date,result。g.构造算法输入表连接负载率表(tid,date,r1,r2,r3,…,r96)和重过载结果表(tid,date,result)，得到算法输入表(tid,date,r1,r2,r3,…,r96,result)。由于这是一个时序预测问题，数据本身具有自相关性，为此本方法采用日期平移的方法对输入表进行处理，将date加1以便得到预测日期的算法输入数据；3)数据读取与模型训练的并行化为减少读取100G+的输入数据所造成的I/O长时等待，解决无法将全量数据载入内存的问题，提升模型训练的整体效率，基于消费者/生产者模式实现了数据读取和模型训练的并行化。采用分批读取的方式，每读取完一批数据后立即将此批次数据投入模型训练，从而实现模型训练和数据读取的并行，由于模型训练属于CPU密集型计算，而数据读取属于IO密集型，并行处理可以最大化地利用硬件资源；4)多层神经网络模型基于多层神经网络，为每一个变压器构建一个独立的预测模型，充分考虑不同变压器的个性化特点，用训练得到的多层神经网络实现重过载的预测；本发明使用的神经网络模型包含1个输入层、3个隐含层、1个输出层，按照数据的分片策略将每个tid对应的数据切分为一个独立的数据集，输入多层神经网络模型；输入表的格式为(tid,date,r1,r2,r3,…,r96,result)，由于是先按照tid分组，再按照date进行排序，所以将每一组训练数据的格式简化为：(r1,r2,r3,…,r96,result)，其中，r1,r2,r3,…,r96用于输入，result用于输出。