[发明专利]一种电力多维全景数据的预处理系统

权利要求书

1.一种电力多维全景数据的预处理系统，其特征在于，包括依次相连的：

数据清洗模块：用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析、数据分类、数据填补和平滑处理，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率；该数据清洗模块利用时间序列模型识别各状态量的时间序列，从而得到数据的属性值，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，然后将数据进行分类，将分类后的数据分别用时间序列干预模型进行拟合以提取有效故障信息；在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的；

数据存储模块：用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据；该数据存储模块充分考虑数据的相关性和时空属性，以关系型数据库和key-value的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法；

数据集成模块：用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集；该数据集成模块考虑到数据来源于多个数据库、数据仓库或一般文件，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。

2.根据权利要求1所述的一种电力多维全景数据的预处理系统，其特征在于，所述数据清洗模块对电力多维全景数据进行修正、降噪和填补缺失值的具体方法包括：

步骤1，属性识别：输入具有n个属性的数据集样本S，其中属性集为X，|X|＝n；对数据的评价方法为J，候选属性生成策略为GS；

定义L为属性集X的起点，Solution为根据评价方法J得出的L中的最佳属性；对属性集进行循环操作，当属性集中X′经过评价方法J的评价值J(X′)大于之前生成的最佳属性的评价值J(Solution)时，即J(X′)≥J(Solution)，则X′为最佳属性；

步骤2，坏数据辨析：输入含有n个样本的最佳属性数据集Solution，{x₁,x₂,…,x_n}；对于数据集中的每一个数据x_i，如果σ为可接受的误差范围，则认为x_i为坏数据，并将它添加到坏数据集BS；

步骤3，数据分类：首先选择k个初始中心点，然后把每个数据对象分到距离它最近的类内，从而形成k个簇，最后再重新计算每个簇的中心；重复上述过程直到每个簇中心不发生变化；

步骤4，数据填补：输入包含n个对象且被分为k个簇的数据集D，处理步骤包括：

步骤4.1、把数据集D分为两个数据子集D_C和D_i：D_C中的记录全部为完整记录，没有任何属性含有缺失值；D_i中的记录为缺损记录，即属性中含有一个及以上的缺失值；

步骤4.2、对数据子集D_C使用k-means算法；

步骤4.3、从数据子集D_i中顺序去除记录，计算该记录与D_C的k个类中任一类的相似度，选出最大的相似度，把该记录标记为C_i类，i＝1,2…，k；直到数据子集为空；

步骤4.4、根据D_i中记录被分配的类，对记录的缺失值进行如下处理：

其中，A_i为类别中的数据；

将按步骤4.1至步骤4.4处理完后的D_i即为数据填补后的数据集；

步骤5，平滑去噪处理：将填补好缺失数据的数据集进行小波变换，选取合适的小波基函数和分解层数，分离噪声数据和信息数据，删掉其中的噪声数据并进行信号重构，保持数据的完整和特性。