[发明专利]一种用于对输变电可靠性评估大数据进行清洗的方法及系统

说明书

本发明公开了一种用于对输变电可靠性评估大数据进行清洗的方法及系统，其中方法包括：通过层次聚类CURE算法对待测试的样本数据进行聚类，获取正常样本数据的聚类簇；基于正常样本数据的聚类簇选取边界样本数据；根据基于边界样本的异常数据识别算法，对所述待测试样本数据中的异常数据进行识别，识别出异常数据；对识别出的异常数据在所述待测试样本数据中的位置进行标注；根据所述异常数据的标注的位置，对所述异常数据应用指数加权移动平均数法进行修正，获取所述异常数据的修正结果；利用所述修正结果替换所述样本数据中的异常数据。

技术领域

本发明涉及电网企业对输变电可靠性评估技术领域，更具体地，涉及一种用于对输变电可靠性评估大数据进行清洗的方法及系统。

背景技术

随着《中国电力大数据发展白皮书》的发布，带动了电力行业内对输变电可靠性评估大数据研究热潮，准确、可靠是保证输变电可靠性评估大数据分析处理精准性的基本要求，因此对输变电可靠性评估大数据质量提出了更高的要求，输变电可靠性评估大数据清洗可有效保证输变电可靠性评估大数据质量的正确性、完整性、一致性、可靠性。

输变电可靠性评估大数据具有数量大、维度高，数据模式繁多等特征，在输变电可靠性评估大数据的采集过程中，其不可避免的存在异常数据，对输变电可靠性评估大数据清洗有很强的必要性。国内外对输变电可靠性评估大数据清洗研究主要有聚类和关联分析、条件函数依赖、马尔科夫模型、DS证据理论。大部分数据清洗技术都需要依赖数据模型本身构建异常数据识别规则，对检测到的异常数据做删除或均值填充处理，破坏了数据的连续性、完整性、准确性。综合国内外研究，输变电可靠性评估大数据清洗难点表现在以下几点：(1)输变电可靠性评估大数据数据模型繁多，数据种类各异，不宜直接构建输变电可靠性评估大数据异常数据识别规则；(2)正常数据多，异常数据少，不同类型的输变电可靠性评估大数据很难通过设定阈值来进行简单异常识别；(3)异常识别将异常数据剔除，破坏了数据的连续性；(4)对异常数据进行重构时，需要依赖外源数据。

因此，需要一种技术，以实现用于对输变电可靠性评估大数据进行清洗的技术。

发明内容

本发明技术方案提供了一种用于对输变电可靠性评估大数据进行清洗的方法及系统，以解决如何基于输变电可靠性评估大数据进行清洗的问题。

为了解决上述问题，本发明提供了一种用于对输变电可靠性评估大数据进行清洗的方法，所述方法包括：

通过层次聚类CURE算法对待测试的样本数据进行聚类，获取正常样本数据的聚类簇；

基于正常样本数据的聚类簇选取边界样本数据；

根据基于边界样本的异常数据识别算法，对所述待测试样本数据中的异常数据进行识别，识别出异常数据；

对识别出的异常数据在所述待测试样本数据中的位置进行标注；

根据所述异常数据的标注的位置，对所述异常数据应用指数加权移动平均数法进行修正，获取所述异常数据的修正结果；

利用所述修正结果替换所述样本数据中的异常数据。

优选地，通过层次聚类CURE算法在对待测试的样本数据进行聚类时，消除离群点，包括：

将所述待测试的样本数据划分为数据块，对每个划分的数据块进行聚类，得到的数据簇表示为p_i(mp_i，w_i)，其中p_i表示块中第i个簇，以及第i个簇的中心点，mp_i表示每个中心点的权重值，w_i是每个簇中数据的个数，每个划分的数据块包括多个代表点；

设多个代表点的集合为P，其中每个代表点的中心点到数据簇外任意一点的偏差距离表示为代表点的离群程度：