[发明专利]一种电力数据预处理系统及方法

说明书

本申请公开了一种电力数据预处理系统及方法，主要涉及数据预处理技术领域，用以解决现有的用户隐私数据易泄露及多源电力数据处理过程复杂等问题。包括：类型处理模块，用于确定电力数据表格对应的隐私数据位置以及隐私数据类型；去隐私模块，用确定电力数据表格对应的隐私数据处理规则；确定电力数据表格对应的隐私数据处理算法；以获得去隐私的电力数据表格；数据统一模块，用于将去隐私的电力数据的格式转换成具有预设模板表头数据的格式。本申请通过上述方法实现了加密隐私数据以及统一数据格式。

技术领域

本申请涉及数据预处理技术领域，尤其涉及一种电力数据预处理系统及方法。

背景技术

电力数据是指电力生产过程中产生的数据，由于电力数据具有数据量大、数据类型多、用户数据隐私度高等特征，如何高效深度地对其进行处理，进而提取有价值的信息，完成电力数据的监控，是具有挑战性的难题。

现阶段，电力数据的预处理方法主要为运维员工进行电力数据的人工处理，或通过神经网络检测电力数据是否异常，进而去除异常的电力数据。

但是，由于电力数据涉及较多用户隐私数据，例如，电力用户名称身份证等信息，现有方法极易造成数据泄露。此外，产生电力数据的设备较多，对应多种格式的电力数据，使得神经网络不能完美适配每一种格式的数据，多源电力数据处理过程复杂。

发明内容

针对现有技术的上述不足，本发明提供一种电力数据监控系统及方法，以解决上述技术问题。

第一方面，本申请提供了一种电力数据预处理系统，系统包括：类型处理模块，用于读取各个电力设备上传的电力数据表格的表头数据，进而确定电力数据表格对应的隐私数据位置以及隐私数据类型；去隐私模块，用于根据隐私数据类型，确定电力数据表格对应的隐私数据处理规则；基于隐私数据位置和隐私数据处理规则，确定电力数据表格对应的隐私数据处理算法；以获得去隐私的电力数据表格；数据统一模块，用于确定表头数据中的各个数据单元格是否存在于预设模板表头数据的模板单元格中；当不存在和数据单元格一致的模板单元格时，将数据单元格加至预设模板表头数据中；将去隐私的电力数据的格式转换成具有预设模板表头数据的格式。

进一步地，类型处理模块还包括隐私校验单元；隐私校验单元，用于从表头数据中提取关键字，基于关键字和关键字-类型数据库，确定电力数据表格中隐私数据对应的隐私数据类型；其中，隐私数据类型包括可运算类型和不可运算类型。

进一步地，去隐私模块还包括：可运算隐私单元；可运算隐私单元，用于获取电力数据表格中隐私数据类型为可运算类型的第一电力数据；从预设隐私加密规则库中随机抽取任一隐私加密规则，对第一电力数据进行加密处理；并将隐私加密规则的预设加密编号标记至第一电力数据的表头数据中。

进一步地，去隐私模块还包括：不可运算隐私单元；不可运算隐私单元，用于获取电力数据表格中隐私数据类型为不可运算类型的第二电力数据；通过预设掩码算法将第二电力数据进行掩码处理。

第二方面，本申请提供了一种电力数据预处理方法，方法包括：读取各个电力设备上传的电力数据表格的表头数据，进而确定电力数据表格对应的隐私数据位置以及隐私数据类型；根据隐私数据类型，确定电力数据表格对应的隐私数据处理规则；基于隐私数据位置和隐私数据处理规则，确定电力数据表格对应的隐私数据处理算法；以获得去隐私的电力数据表格；确定表头数据中的各个数据单元格是否存在于预设模板表头数据的模板单元格中；当不存在和数据单元格一致的模板单元格时，将数据单元格加至预设模板表头数据中；将去隐私的电力数据的格式转换成具有预设模板表头数据的格式。

进一步地，确定电力数据表格对应的隐私数据位置以及隐私数据类型，具体包括：从表头数据中提取关键字，基于关键字和关键字-类型数据库，确定电力数据表格中隐私数据对应的隐私数据类型；其中，隐私数据类型包括可运算类型和不可运算类型。