[发明专利]一种基于三层架构的配电网领域的全面数据质量管理方法

说明书

本发明公开了一种基于三层架构的配电网领域的全面数据质量管理方法，涉及配电网数据处理技术领域，包括数据评估、数据质量控制、可视化交互的全面数据质量管理框架，首先通过数据评估层获取配电网相关的多源数据，并对多源数据进行数据融合及元数据提取，然后对元数据进行描述性统计的计算和数据注释；数据质量控制层将数据评估层处理完成后的数据进行异常数据检测和校正；最后可视化交互层将数据评估层获取的数据、数据评估层处理的数据及数据质量控制层处理前后的数据进行可视化展示和可视化分析，完善和提高了配电网相关的数据质量，同时方便对配电网相关数据进行管理和监测，克服了当前电力系统新环境下配电网数据特点及产生数据质量低问题。

技术领域

本发明涉及配电网数据处理技术领域，尤其涉及一种基于三层架构的配电网领域的全面数据质量管理方法。

背景技术

随着智能电网、能源互联网建设的不断深入，建设泛在电力物联网战略的提出，电网调度自动化系统、智能运检系统、配电自动化系统、用电信息采集系统等的部署和应用，一方面提高了对设备运行、控制、运维等能力，另一方面对数据的采集能力也大大提高，电力公司获取的配用电数据具有海量化、多态化、异构化、高维化的特征。当前配电网主要量测数据类型，其中用电量数据、资产管理数据和外部数据中含有大量冗余、缺失和异常数据，导致电力数据质量问题严重。

电力市场化改革和智能电网的建设和应用，促使高级量测体系(AdvancedMetering Infrastructure，AMI)收集的配用电量数据规模越来越大。数据的质量影响基于数据分析的电力系统管理和应用的准确性及有效性，进而影响整个系统的安全性和可靠性。因此，配用电数据的数据质量管理(Data Quality Management, DQM)问题是众多国家电力行业发展的一个重要研究和应用课题。

数据挖掘及多源数据分析在提升数据质量方面起着重要的作用。目前，相关研究主要集中在数据挖掘算法上，忽略了数据分析前的数据质量处理问题。离群值是不符合整体数据分布的异常值，噪声等异常数据降低了数据质量，对基于数据的模型和性能产生了不利影响，可以认为是“坏数据”。为了提高数据质量，在数据预处理过程中往往会进行离群值剔除。对离群值的分析并发现有价值的信息，称为离群值挖掘。离群值挖掘是数据挖掘中重要研究内容，已经在网络入侵检测、金融欺诈检测、交通异常检测、股票市场价格趋势预测等方面具有广阔的应用前景。在配电网中的应用也非常广泛，如配电网薄弱环节辨识、配电网设备资产优化配置、配电网资产运行效率评估、配电网分层分区供电可靠性评估及管控、配电网运行状态评价、配电网安全风险评估及预警、配电网设备运行经济性分析等。然而在现实生活中，配用电数据是不完整的、冗余的、模糊的，这与许多数据挖掘算法的要求是不一致的。此外，噪声数据严重影响数据挖掘算法的效率，导致其无法有效挖掘有用信息。

发明内容

本发明的目的在于提供一种基于三层架构的配电网领域的全面数据质量管理方法，从而克服了当前电力系统新环境下配电网数据特点及产生数据质量低问题。

为实现上述目的，本发明提供了基于三层架构的配电网领域的全面数据质量管理方法，三层架构包括：数据评估层、数据质量控制层及可视化交互层；

基于三层架构的配电网领域的全面数据质量管理方法，包括以下步骤：

S1、数据评估层获取配电网相关的多源数据；

S2、数据评估层对获取的配电网相关的多源数据进行融合及元数据提取，并对元数据进行描述性统计的计算和数据注释；

S3、数据质量控制层将S2得到的数据进行异常数据检测，后进行校正；

S4、通过可视化交互层将S1得到的数据、S2中处理的数据及S3中校正前后的数据进行可视化展示和可视化分析。

进一步的，所述多源数据包括：配电网准实时量测数据、资产台账数据、生产业务数据及外部数据。