[发明专利]一种异构数据库下大数据计算的适配方法及相关装置

说明书

本申请公开了一种异构数据库下大数据计算的适配方法，包括：识别系统的类型；若所述系统的类型为Oracle，则根据第一宽表数据生成规则，生成宽表数据；若所述系统的类型为ODPS，则根据第二宽表数据生成规则，生成宽表数据；判断Kettle元仓中是否存在待转化的Oracle SQL；若存在，则将所述待转化的Oracle SQL转化为ODPS SQL。该方法能够减少数据开发成本与维护成本。本申请还公开了一种异构数据库下大数据计算的适配方法的装置、设备以及计算机可读存储介质，均具有上述技术效果。

技术领域

本申请涉及数据库技术领域，特别涉及一种异构数据库下大数据计算的适配方法；还涉及一种异构数据库下大数据计算的适配装置、设备以及计算机可读存储介质。

背景技术

省局数仓的定位是产品，该产品会同步到各省。当前，省局的开发都是基于Oracle的。随着大数据产品的更新与成熟，基于大数据环境计算能力强大的优点，越来越多的省份开始使用阿里云、华为云等产品。当发生一个需求变更或者需求新增，需要同时维护两个版本的代码，需要花费大量的人力，如果再新增华为云或者Hadoop集群，代码版本会更多，且维护成本也会翻倍增长。因此，如何减少数据开发成本与维护成本已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请的目的是提供一种异构数据库下大数据计算的适配方法，能够减少数据开发成本与维护成本。本申请的另一个目的是提供一种异构数据库下大数据计算的适配装置、设备以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本申请提供了一种异构数据库下大数据计算的适配方法，包括：

识别系统的类型；

若所述系统的类型为Oracle，则根据第一宽表数据生成规则，生成宽表数据；

若所述系统的类型为ODPS，则根据第二宽表数据生成规则，生成宽表数据；

判断Kettle元仓中是否存在待转化的Oracle SQL；

若存在，则将所述待转化的Oracle SQL转化为ODPS SQL。

可选的，所述根据第一宽表数据生成规则，生成宽表数据包括：

当执行金三任务时，将从金三查询库获取的本地增量数据写入云下抽取表，并将所述云下抽取表中的数据插入到云下业务表，生成第一宽表数据；

当执行ITS任务时，将从云下镜像层中获取的本地增量数据写入所述云下抽取表，并将所述云下抽取表中的数据插入云下业务表，生成第二宽表数据。

可选的，所述根据第二宽表数据生成规则，生成宽表数据包括：

当执行金三任务时，将从金三查询库获取的本地增量数据写入云上抽取表，并将所述云上抽取表中的数据插入到云上镜像层，并将所述云上镜像层的数据形成的去重视图插入云上业务表，生成第三宽表数据；

当执行ITS任务时，将从云上镜像层中获取的形成的去重视图插入云上业务表，生成第四宽表数据。

可选的，所述将所述待转化的Oracle SQL转化为ODPS SQL包括：

对所述待转化的Oracle SQL进行结构化解析；

根据解析结果，将所述待转化的Oracle SQL的结构转化为ODPS结构的SQL；

利用正则表达式，对所述ODPS结构的SQL进行函数替换的，得到所述ODPS SQL。

可选的，还包括：

获取Oracle表结构；

判断所述Oracle表结构是否存在range分区；