[发明专利]配用电全局全量数据传输及存储方法、装置、电子设备

权利要求书

1.一种配用电全局全量数据传输及存储方法，应用于电力系统配电网，其特征在于，包括：

将电力系统配电网中各业务系统的第一原始数据迁移到大数据平台的数据仓库；

使用所述大数据平台对所述第一原始数据进行数据处理和数据清洗，将数据处理和数据清洗后的数据按预设的表结构存储到Inceptor数据仓库，获得用于被应用场景作为分析数据的第二原始数据；

将被应用场景作进行数据分析后的所述第二原始数据从Inceptor数据仓库迁移到Hyperbase数据库，生成用于检索索引的结果数据；

其中，处理完的数据会完整保存到中间库，中间库所有需要与前台交互的Inceptor表全部迁移到Hyperbase数据库；

所述第一原始数据包括：orcale数据库数据、txt/excel文件和cim/svg文件；

对于所述orcale数据库数据，其迁移到所述大数据平台的数据仓库后，还需要创建基于Inceptor数据仓库的orc线性表将生成的HDFS文件写入所述大数据平台的数据仓库；

对于所述txt/excel文件；当所述txt/excel文件的格式固定时，将所述txt/excel文件通过ftp方式传输到所述大数据平台的指定目录下，同时在创建inceptor表的时候指定与所述txt/excel文件通过一样的列分隔符；当所述txt/excel文件的格式不固定时，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库；

对于所述cim/svg文件，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库。

2.根据权利要求1所述的配用电全局全量数据传输及存储方法，其特征在于，所述数据处理和数据清洗包括：合并操作、关联操作、去重操作、行列转置操作。

3.一种配用电全局全量数据传输及存储装置，应用于电力系统配电网，其特征在于，包括：

第一执行模块，用于将电力系统配电网中各业务系统的第一原始数据迁移到大数据平台的数据仓库；

第二执行模块，用于使用所述大数据平台对所述第一原始数据进行数据处理和数据清洗，将数据处理和数据清洗后的数据按预设的表结构存储到Inceptor数据仓库，获得用于被应用场景作为分析数据的第二原始数据；

第三执行模块，用于将被应用场景作进行数据分析后的所述第二原始数据从Inceptor数据仓库迁移到Hyperbase数据库，生成用于检索索引的结果数据；

所述第一原始数据包括：orcale数据库数据、txt/excel文件和cim/svg文件；对于所述orcale数据库数据，其迁移到所述大数据平台的数据仓库后，还需要创建基于Inceptor数据仓库的orc线性表将生成的HDFS文件写入所述大数据平台的数据仓库；对于所述txt/excel文件；当所述txt/excel文件的格式固定时，将所述txt/excel文件通过ftp方式传输到所述大数据平台的指定目录下，同时在创建inceptor表的时候指定与所述txt/excel文件通过一样的列分隔符；当所述txt/excel文件的格式不固定时，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库；对于所述cim/svg文件，通过写java程序的方式逐条处理，再加载到所述inceptor数据仓库；

其中，处理完的数据会完整保存到中间库，中间库所有需要与前台交互的Inceptor表全部迁移到Hyperbase数据库。

4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2任意一项所述的方法。