[发明专利]一种基于关系型数据库动态增量加载数据的方法

权利要求书

1.一种基于关系型数据库动态增量加载数据的方法，其特征在于，包括如下步骤：

A00：建立数据源配置模板表；

A01：建立动态增量抽取配置模板表，将所有ETL配置归总成固定成若干项；

A02：创建存储过程，通过读取数据源配置表和动态增量抽取配置表，实现对数据的抽取、过滤、转换以及装载；

A03：在目标数据库通过数据库SQL语言创建定时调度任务，调度任务定时执行A02步骤中创建好的存储过程，完成定期抽取源数据的功能；

A04：将ODS表的数据源配置按照配置模板录入数据源配置模板表；

A05：将ODS表的ETL配置按照配置模板录入动态增量抽取配置模板表；

A06：启动定时调度任务，定时动态增量抽取数据。

2.根据权利要求1所述的一种基于关系型数据库动态增量加载数据的方法，其特征在于，所述数据源配置模板表结构如下：

字段名	字段类型	字段描述
id	int	数据源id
connect_name	varchar	数据源的连接名称，用于区分多数据源
sdb_ip	varchar	数据源的数据库ip
sdb_port	int	数据源的数据库端口号
sdb_name	varchar	数据源的数据库名称
sdb_username	varchar	数据源的数据库登录用户名
sbd_password	varchar	数据源的数据库登录密码

。

3.根据权利要求1所述的一种基于关系型数据库动态增量加载数据的方法，其特征在于，所述动态增量抽取配置模板表结构如下：

4.根据权利要求1所述的一种基于关系型数据库动态增量加载数据的方法，其特征在于，A02中数据的抽取、过滤、转换以及装载过程如下：

B00：获取所述数据源配置模板表中的配置；

B01：将远程源数据表映射到目标数据库本地；

B02：在所述目标数据库上建立目标数据表；

B03：根据所述动态增量抽取配置模板表对源数据进行动态增量抽取、转换，然后装载到所述目标数据表；

B04：更新所述动态增量抽取配置模板的增量标记点，为下次增量抽取数据做准备。