[发明专利]配用电全局全量数据传输及存储方法、装置、电子设备

说明书

本发明公开了一种配用电全局全量数据传输及存储方法、装置、电子设备；所述方法包括：将电力系统配电网中各业务系统的第一原始数据迁移到大数据平台的数据仓库；使用所述大数据平台对所述第一原始数据进行数据处理和数据清洗，将数据处理和数据清洗后的数据按预设的表结构存储到Inceptor数据仓库，获得用于被应用场景作为分析数据的第二原始数据；将被应用场景作进行数据分析后的所述第二原始数据从Inceptor数据仓库迁移到Hyperbase数据库，生成用于检索索引的结果数据。本发明在保证数据的完整性和准确性的情况下，尽可能地将数据进行压缩，减少数据冗余和空间浪费，节省存储空间，同时保证数据的解码和查找速度，实现整型数据压缩率与检索速度的协调兼顾。

技术领域

本发明涉及数据处理技术领域，特别是指一种配用电全局全量数据传输及存储方法、装置、电子设备。

背景技术

基于配用电全局全量数据的采集、传输、存储与高级分析应用研究，在现有的电网数据处理应用领域中已经有一定的应用，其目的是对于各电力相关业务系统所积累的数据，通过大数据手段进行采集、集成、处理、分析与应用来实现小电流接地故障选线，综合故障分析，电网量测数据评价等具体的应用场景。这些应用场景的展示对于数据的检索速度和数据质量有着很高的要求，只有高效的将数据检索并抽取出来，才能实现应用场景的展示。现有的配用电全局全量数据传输及存储技术无法达到上述使用要求。

发明内容

有鉴于此，本发明的目的在于提出一种配用电全局全量数据传输及存储方法、装置、电子设备，在保证数据的完整性和准确性的情况下，尽可能地将数据进行压缩，减少数据冗余和空间浪费，节省存储空间，同时保证数据的解码和查找速度，实现整型数据压缩率与检索速度的协调兼顾。

基于上述目的本发明提供的一种配用电全局全量数据传输及存储方法，应用于电力系统配电网，包括：

将电力系统配电网中各业务系统的第一原始数据迁移到大数据平台的数据仓库；

使用所述大数据平台对所述第一原始数据进行数据处理和数据清洗，将数据处理和数据清洗后的数据按预设的表结构存储到Inceptor数据仓库，获得用于被应用场景作为分析数据的第二原始数据；

将被应用场景作进行数据分析后的所述第二原始数据从Inceptor数据仓库迁移到Hyperbase数据库，生成用于检索索引的结果数据。

在一些实施方式中，所述第一原始数据包括：orcale数据库数据、txt/excel文件和cim/svg文件。

在一些实施方式中，对于所述orcale数据库数据，其迁移到所述大数据平台的数据仓库后，还需要创建基于Inceptor数据仓库的orc线性表将生成的HDFS文件写入所述大数据平台的数据仓库。

在一些实施方式中，对于所述txt/excel文件；当所述txt/excel文件的格式固定时，将所述txt/excel文件通过ftp方式传输到所述大数据平台的指定目录下，同时在创建inceptor表的时候指定与所述txt/excel文件通过一样的列分隔符；当所述txt/excel文件的格式不固定时，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库。

在一些实施方式中，对于所述cim/svg文件，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库。

在一些实施方式中，所述数据处理和数据清洗包括：合并操作、关联操作、去重操作、行列转置操作。

另一方面，本发明还提供了一种配用电全局全量数据传输及存储装置，应用于电力系统配电网，包括：

第一执行模块，用于将电力系统配电网中各业务系统的第一原始数据迁移到大数据平台的数据仓库；