[发明专利]基于电网任意分割区域的多源数据纠错处理方法及系统

说明书

本发明公开了一种基于电网任意分割区域的多源数据纠错处理方法及系统，方法包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明利用任意分割区域的多源数据纠错方法，提升了数据质量。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于电网任意分割区域的多源数据纠错处理方法及系统。

背景技术

目前，传统的电力数据修复方法主要有缺失数据处理和不一致数据处理。其中，缺失数据处理包括单一填补法和多重填补法，其中单一填补法即对缺失值构造单一替代值进行填补，常用方法有平均值或中间数填补法、回归填补法、最大期望填补法等。但是单一值填补法往往不能反映出原有数据集的不确定性，可能造成较大偏差。多重填补法即采用多个数值进行填充，然后用针对完整数据集的方法对它们进行分析，从而得出综合结果，常见方法有趋势得分法等。该类计算往往复杂且算法需要根据业务需求不断完善。不一致数据处理，目前常采用的方法有排序、融合和依据规则等方式。数据的不一致可以划分为两种类型，即上下文独立的冲突和上下文依赖的冲突两种。上下文独立冲突是指一些外部的随机因素造成的不一致，这类问题的解决一般为人工干预或特定的方法。上下文依赖的冲突是指源于不同数据源的数据由于各系统或应用间固有的数据设计差异或表达因素造成的不一致，这种类型的冲突采用机器学习的方法学习转换规则来解决不一致的问题，也可对每个数值从不同的属性参数来评估，其整体评估值是各个特征评估值的线性组合，最后根据评估值确定哪个数据为唯一正确的。

由此可以看出，利用传统的数据修复方法，无论是缺失数据处理方法还是不一致数据处理方法，均无法实现对数据的准确治理，甚至还需人工干预，对于海量的电网数据来说，粗略的数据治理方法，已无法满足电网精益化管理分析的要求。另外，利用传统的数据修复方法，无法人为的选择对关心区域进行数据纠错治理，仅能够对指定区域或特定电压等级进行数据治理。

因此，如何有效的实现电网异常数据的准确定位、自动纠错、过程记录的全过程管理，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。

本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，包括：

基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

基于网格自动布图算法和正交自动布图算法，完成自动成图；

在电网理论线损计算的基础上，对电网进行分割；

根据聚类分析方法，确定影响线损率的聚类因子集；

利用正负相关分析方法对电网数据进行分析，确定出异常数据；

定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

优选地，所述基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据包括：

基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。