[发明专利]一种异构数据库下大数据计算的适配方法及相关装置

权利要求书

1.一种异构数据库下大数据计算的适配方法，其特征在于，包括：

识别系统的类型；

若所述系统的类型为Oracle，则根据第一宽表数据生成规则，生成宽表数据；

若所述系统的类型为ODPS，则根据第二宽表数据生成规则，生成宽表数据；

判断Kettle元仓中是否存在待转化的Oracle SQL；

若存在，则将所述待转化的Oracle SQL转化为ODPS SQL。

2.根据权利要求1所述的适配方法，其特征在于，所述根据第一宽表数据生成规则，生成宽表数据包括：

当执行金三任务时，将从金三查询库获取的本地增量数据写入云下抽取表，并将所述云下抽取表中的数据插入到云下业务表，生成第一宽表数据；

当执行ITS任务时，将从云下镜像层中获取的本地增量数据写入所述云下抽取表，并将所述云下抽取表中的数据插入云下业务表，生成第二宽表数据。

3.根据权利要求1所述的适配方法，其特征在于，所述根据第二宽表数据生成规则，生成宽表数据包括：

当执行金三任务时，将从金三查询库获取的本地增量数据写入云上抽取表，并将所述云上抽取表中的数据插入到云上镜像层，并将所述云上镜像层的数据形成的去重视图插入云上业务表，生成第三宽表数据；

当执行ITS任务时，将从云上镜像层中获取的形成的去重视图插入云上业务表，生成第四宽表数据。

4.根据权利要求1所述的适配方法，其特征在于，所述将所述待转化的Oracle SQL转化为ODPS SQL包括：

对所述待转化的Oracle SQL进行结构化解析；

根据解析结果，将所述待转化的Oracle SQL的结构转化为ODPS结构的SQL；

利用正则表达式，对所述ODPS结构的SQL进行函数替换的，得到所述ODPS SQL。

5.根据权利要求1所述的适配方法，其特征在于，还包括：

获取Oracle表结构；

判断所述Oracle表结构是否存在range分区；

若存在，则将所述range分区转化为list分区。

6.一种异构数据库下大数据计算的适配装置，其特征在于，包括：

识别模块，用于识别系统的类型；

第一宽表数据生成模块，用于若所述系统的类型为Oracle，则根据第一宽表数据生成规则，生成宽表数据；

第二宽表数据生成模块，用于若所述系统的类型为ODPS，则根据第二宽表数据生成规则，生成宽表数据；

判断模块，用于判断Kettle元仓中是否存在待转化的Oracle SQL；

转化模块，用于若存在，则将所述待转化的Oracle SQL转化为ODPS SQL。

7.根据权利要求6所述的适配装置，其特征在于，所述第一宽表数据生成模块包括：

第一宽表数据生成单元，用于当执行金三任务时，将从金三查询库获取的本地增量数据写入云下抽取表，并将所述云下抽取表中的数据插入到云下业务表，生成第一宽表数据；

第二宽表数据生成单元，用于当执行ITS任务时，将从云下镜像层中获取的本地增量数据写入所述云下抽取表，并将所述云下抽取表中的数据插入云下业务表，生成第二宽表数据。

8.根据权利要求6所述的适配装置，其特征在于，所述第二宽表数据生成模块包括：

第三宽表数据生成单元，用于当执行金三任务时，将从金三查询库获取的本地增量数据写入云上抽取表，并将所述云上抽取表中的数据插入到云上镜像层，并将所述云上镜像层的数据形成的去重视图插入云上业务表，生成第三宽表数据；

第四宽表数据生成单元，用于当执行ITS任务时，将从云上镜像层中获取的形成的去重视图插入云上业务表，生成第四宽表数据。