[发明专利]一种电力多维全景数据的预处理系统

说明书

本发明涉及一种电力多维全景数据的预处理系统，包括依次相连的数据清洗模块、数据存储与检索模块和数据的价值提取模块。本发明的电力对位全景数据的预处理方法生成系统，能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。

技术领域

本发明涉及数据处理技术领域，涉及一种电力多维全景数据的预处理方法。

背景技术

近年来，智能电网的发展与研究已成为当今时代的一大热点，而智能电表作为智能电网的重要组成部分，采集了大量详细的多时间尺度、多类型的基础输入数据，与传统的潮流数据等基础数据相比，数据量从一个时间断面数据变成一段时间的整体数据，甚至出现了更多非结构化数据，现有的结构化数据已无法满足其实际分析需求。

随着智能电网建设的推进，电力多维全景数据根据其所属用户性质，主要分为电网企业、电力用户、政府及第三方机构三个方面所分别对应的电网数据、用户数据和社会数据。这些数据一般以信息集成化平台的方式呈现；其中，电网企业数据主要包括配电自动化、GIS、SCADA、用电信息采集系统、客户营销服务系统、用户用能管理系等；电力用户数据主要包括分布式电源EMS、微电网MG-EMS、家庭HEMS、楼宇BEMS、企业EMS等用户数据；政府及第三方机构数据主要包括气象监测系统、能耗监管系统、智慧城市监控系统、能源公共服务平台等社会数据。这些数据在数据异构方面呈现出设计风格异构、存储方式异构以及结构化与非结构化共存等特点，同时它又具有海量、数据更新速度极快、分布地域广泛等特性。

由于数据来源多、量大、更新速度快以及价值密度低等特点，加大了数据价值挖掘的难度，一方面使我们很难快速发现数据有用价值信息和规律性等特点，另一方面存在的若干数据冗余也会影响我们的判断。因此，提出一种电力多维全景数据的与处理方法，对数据价值挖掘具有十分重要的意义。

发明内容

针对以上问题，本发明提出了一种电力多维全景数据的预处理方法，以提高数据质量，减少数据价值挖掘难度。

一种电力多维全景数据的预处理系统，包括依次相连的：

数据清洗模块：用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析、数据分类、数据填补和平滑处理，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率；该数据清洗模块利用时间序列模型识别各状态量的时间序列，从而得到数据的属性值，检测出数据的异常模式，判断异常数据是能提取设备故障信息的“有用数据”还是可被清洗的“无用数据”，然后将数据进行分类，将分类后的数据分别用时间序列干预模型进行拟合以提取有效故障信息。在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的

数据存储模块：用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据；该数据存储模块充分考虑数据的相关性和时空属性，以关系型数据库和“key-value”的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法；

数据集成模块：用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集；该数据集成模块考虑到数据来源于多个数据库、数据仓库或一般文件，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。

在上述的一种电力多维全景数据的预处理系统，所述数据清洗模块对电力多维全景数据进行修正、降噪和填补缺失值的具体方法包括：