[发明专利]基于Hadoop的电力大数据处理系统

说明书

本发明提供一种基于Hadoop的电力大数据处理系统，涉及大数据处理技术领域。该系统通过数据集成子系统采集来自不同数据源的多源异构电力数据，并通过ETL工具进行抽取、清洗、转换和加载，实现对不同数据源的数据集中收集，然后以一种固定的格式输出至数据仓库子系统；数据仓库子系统通过数据仓库将电力数据进行文件层的存储固化，以文件读写引擎HDFS进行数据读写支撑，支持大数据处理时的并行、多层数据处理；数据质量管理子系统通过配置好的规则对经过ETL工具处理后存储在数据仓库子系统中的电力数据进行监控管理，并提交数据质量报告；本发明的系统基于Hadoop技术，能够实时处理电力大数据，具有高可靠、高效、可伸缩、高容错、低成本的特点。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于Hadoop的电力大数据处理系统。

背景技术

变电站作为电力系统运行的核心，其运行的安全稳定对电力企业发展起决定性作用，变电与配电工作正是保证变电站安全稳定运行的关键因素。500千伏变电站的运行状况，直接影响着区域主电力网的安全与稳定。同时，它还直接影响着电网供电的可靠性和经济性，通过对变电站运维管理优化研究对于提升变电站安全水平和经济水平具有重要的现实意义。

随着变电设备的数量增加，电力数据也随之增长，例如MIS系统数据、设备管理数据、历史检修数据等，因此，如果能在电力系统管理中引入大数据技术，对于电网的发展进步和提升电网资产管理效率将具有强力的促进作用。与此同时，随着电力企业实现设备检修的信息化、数字化，积累了大量的设备台帐数据、设备分类、设备技术参数、部件附属设备、仪表信息等设备基础信息数据，设备运行状态、设备缺陷部位、缺陷内容、造成的影响及可能的后果、技改过程记录等过程数据，及设备类型、厂家缺陷排名等统计分析数据。然而，这些数据分别在不同信息系统中，数据格式结构不同、数据标准不统一、数据质量难以评估，需要构建智能精益检修数据集成软件，离线或自动化实时同步集成电力生产MIS系统、设备管理系统、工作流数据、历史数据等多方数据源数据，并按照分析目标、智能精益检修大数据统一标准进行数据的集约化、标准化处理和清洗，形成用于大数据分析的数据格式和后期进行业务算法分析的数据基础。

另一方面，现有的系统随着使用的时间推移和不断深入，系统难免会产生一些失效数据、无依据来源数据、描述错误或不准确数据以及出现细节数据丢失等现象。以上现象的存在，导致数据中心在集成各业务系统数据的时候，必须着手解决数据质量问题。只有拥有高质量数据的数据中心，才可以充分挖掘数据潜在的价值，进而带来效益。为进一步增强系统分析性能，实现设备检修从信息化、数字化向标准化、集约化、智能化转型，需要在信息化基础上，引入大数据、人工智能深度学习技术，进行深度融合实现多源海量数据的快速分析、主动预测预警和故障智能研判，提升设备状态评估的效率和智能化水平。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于Hadoop的电力大数据处理系统，对数据进行集中抽取、清洗、转换、筛选，进而实现对电力数据的持久存储。

为解决上述技术问题，本发明所采取的技术方案是：基于Hadoop的电力大数据处理系统，包括数据集成子系统、数据仓库子系统、数据质量管理子系统；

所述数据集成子系统采集来自不同数据源的多源异构电力数据，并通过ETL工具进行抽取、清洗、转换和加载，实现对不同数据源的数据集中收集，然后以一种固定的格式输出至数据仓库子系统；

所述数据仓库子系统通过数据仓库将数据集成子系统得到的电力数据进行文件层的存储固化，以文件读写引擎HDFS进行数据读写支撑，支持大数据处理时的并行、多层数据处理；所述数据仓库划分为四个逻辑区域:源数据存储区、数据暂存区、数据存储区、中央数据仓库/数据集市；

所述数据质量管理子系统通过配置好的规则对经过ETL工具处理后存储在数据仓库子系统中的电力数据进行监控管理，并提交数据质量报告。