[发明专利]一种基于关系型数据库动态增量加载数据的方法

说明书

本发明公开了一种基于关系型数据库动态增量加载数据的方法，涉及数据库技术领域。本发明包括建立数据源配置模板表；建立动态增量抽取配置模板表，将所有ETL配置归总成固定成若干项；创建存储过程；在目标数据库通过数据库SQL语言创建定时调度任务；将ODS表的数据源配置按照配置模板录入数据源配置模板表；将ODS表的ETL配置按照配置模板录入动态增量抽取配置模板表；启动定时调度任务，定时动态增量抽取数据。本发明通过建立数据源配置模板表以及动态增量抽取配置模板；减少了ODS表创建ETL流程和任务的工作量，ETL配置化的方式管理了所有ODS表，减少了维护难度。

技术领域

本发明属于数据库技术领域，特别是涉及一种基于关系型数据库动态增量加载数据的方法。

背景技术

数据仓库是面向决策分析的中央存储库。数据仓库建立方式是：定期将来自于事务系统、关系数据库等其他来源的数据，根据不同的主题进行抽取、转换操作，最后将清洗好的数据装载到中央存储库，为决策者提供决策的依据。

目前，数据仓库的建立过程需要依赖C、Java、Python、SQL等多种语言的组合开发；并且数据仓库需要将多数据源的数据抽取流程拆分成多个单数据源的数据抽取流程，导致建仓过程非常繁琐；另外，在源数据结构发生变化和数据仓库业务升级后，数据仓库需要进行重新建立，这就造成了数据仓库的运维成本变高。

现有的技术方案是为数据仓库的ODS层的每张表配置一套完整的ETL流程，然后给ODS层的每张表创建一个任务来完成数据抽取、转换、装载工作。当数据仓库进行业务升级后，需要再继续创建新的ETL流程和新的任务来完成新增ODS表的数据抽取、转换、装载工作。当ODS表的抽取、转换逻辑发生变动，需要删除ODS表旧的ETL配置流程，然后重新配置一套完整的ETL流程。

现有技术一的缺点：1、需要为每张ODS表配置一套ETL流程和任务，ODS表的数量过多，会增加配置ETL流程的工作量，ODS表的数量与配置ELT流程工作量成正比；2、配置的ETL流程和任务过多，会增加管理和维护的难度，配置ETL流程和任务的数量与管理和维护难度成正比；3、配置的任务过多，会增加服务器的使用开销，配置任务的数量与服务器开销成正比；4、配置ETL流程和任务依赖C、Java、Python、SQL等多种语言，增加了开发难度和学习成本。

发明内容

本发明的目的在于提供一种基于关系型数据库动态增量加载数据的方法，通过建立数据源配置模板表以及动态增量抽取配置模板；减少了ODS表创建ETL流程和任务的工作量，ETL配置化的方式管理了所有ODS表，减少了维护难度，解决了现有的数据转换效率低以及管理复杂的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于关系型数据库动态增量加载数据的方法，包括如下步骤：

A00：建立数据源配置模板表；

A01：建立动态增量抽取配置模板表，将所有ETL配置归总成固定成若干项；

A02：创建存储过程，通过读取数据源配置表和动态增量抽取配置表，实现对数据的抽取、过滤、转换以及装载；

A03：在目标数据库通过数据库SQL语言创建定时调度任务，调度任务定时执行A02步骤中创建好的存储过程，完成定期抽取源数据的功能；

A04：将ODS表的数据源配置按照配置模板录入数据源配置模板表；

A05：将ODS表的ETL配置按照配置模板录入动态增量抽取配置模板表；

A06：启动定时调度任务，定时动态增量抽取数据。

优选地，所述数据源配置模板表结构如下：