[发明专利]GIS电网图形数据接入全业务数据中心的方法及系统

说明书

本发明公开了GIS电网图形数据接入全业务数据中心的方法及系统，根据配置文件连接源端oracle数据库，然后从源端oracle数据库中读取所有表的表名；根据表名读取每张表的元数据信息；根据所获取的元数据信息确认包含有电网图形数据的表中MDSYS.SDO_GEOMETRY字段类型对应的字段名称为SHAPE；SHAPE，包括七个子字段名称；创建全业务数据中心分析域目标表：遍历所获取的每张表中的所有列，将MDSYS.SDO_GEOMETRY类型中所对应的七个子字段名称转换为目标端数据库mysql的字段名称，mysql的其余字段名称与源端oracle数据库字段名称保持一致；并发执行数据抽取转换加载任务。

技术领域

本发明涉及GIS电网图形数据接入全业务数据中心的方法及系统。

背景技术

GIS系统(地理信息系统，Geographic Information System或Geo－Informationsystem，GIS)作为国网公司核心业务系统，需完成GIS系统数据全量复制至全业务数据中心分析域。GIS系统数据接入常用的几种数据接入方式包括：数据抽取ETL工具(kettle/informatica/sqoop)、数据复制工具(OGG)等。

缺点：对于GIS系统中的电网图形数据均存储在ORACLE空间字段(SDO_GROMETRY)中，该数据类型采取了分解存储的技术，即一个地理空间分解为若干对象。由于全业务数据中心分析域所选用的数据库组件无法直接对源系统ORACLE数据库MDSYS.SDO_GEOMETRY类型的字段进行存储，无法实现电网图形数据的直接接入，需进行转换处理，但是ETL程序开发繁琐，数据转换逻辑复杂，效率不高。

发明内容

针对传统的ETL方式无法直接对电网图形数据进行转换的技术难点，提供一种实用性强，GIS电网图形数据接入全业务数据中心的方法及系统。

GIS电网图形数据接入全业务数据中心的方法，包括：

步骤(1)：根据配置文件连接源端oracle数据库，然后从源端oracle数据库中读取所有表的表名；根据表名读取每张表的元数据信息；

步骤(2)：根据步骤(1)所获取的元数据信息确认包含有电网图形数据的表中MDSYS.SDO_GEOMETRY字段类型对应的字段名称为SHAPE；所述字段名称SHAPE，包括七个子字段名称；

步骤(3)：创建全业务数据中心分析域目标表：遍历步骤(1)所获取的每张表中的所有列，将MDSYS.SDO_GEOMETRY类型中所对应的步骤(2)所述的七个子字段名称转换为目标端数据库mysql的字段名称，mysql的其余字段名称与源端oracle数据库字段名称保持一致；

步骤(4)：并发执行数据抽取转换加载任务。

所述元数据信息，包括：表的索引信息、分区信息、表的每个block的最大ROWID值、表的每个block的最小ROWID值、表中每一列的字段名称以及每一列的字段类型。

字段名称SHAPE，包括：SHAPE.SDO_GTYPE、SHAPE.SDO_SRID、SHAPE.SDO_POINT.X、SHAPE.SDO_POINT.Y、SHAPE.SDO_POINT.Z、SHAPE.SDO_ELEM_INFO、SHAPE.SDO_ORDINATES七个子字段名称。

步骤(4)包括步骤：

步骤(41)：创建数据抽取进程池，设定进程的数量n小于步骤(1)所获取的表的数量；

步骤(42)：一个进程只负责对一张表进行数据抽取，当数据抽取进程池中的一个进程数据抽取执行完毕后再添加新的表放入到数据抽取进程池中，维持执行的进程总数为n；