[发明专利]ETL任务数据源切换方法、系统、计算机设备和存储介质

说明书

本发明公开了一种ETL任务数据源切换方法、系统、计算机设备和存储介质，其中所述方法包括：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应；调用SHELL脚本，通过API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点；在API服务器确认起库信息和同步信息后，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。上述方法降低了人工操作的风险，提高了切换效率，减少了误操作。

技术领域

本发明涉及计算机技术领域，尤其涉及一种ETL任务数据源切换方法、系统、计算机设备和存储介质。

背景技术

利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常的业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理 (On lineTransaction Processing，OLTP)应用，它所存储的数据被称为操作数据或者业务数据。BI(Business Intelligence)是一种运用了数据仓库，在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的是为企业决策者提供决策支持。COW(写时复制Copy-On-Write)，是存储快照的一种方式，更新源数据卷中的原始数据时,将原始数据Copy到快照卷中。当我们需要恢复快照时,只需要按照快照指针表逐一进行寻址就能够完成了，而且COW在使用上非常的灵活,可以随时为任意源数据卷建立快照。

ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取 (extract)、转换(transform)、加载(load)至目的端的过程，ETL常用在数据仓库。ETL任务主要是针对OLAP型的BI项目。一般是从业务型的OLTP型数据库中抽取数据。主要特点是数据量大，处理时间长。一般处理的时间段大都是集中在OLTP数据库压力较小的凌晨，但存在如下问题：

1、部分抽数任务由于依赖任务多或者报错等原因，运行时间排到了白天上班时间。而在上班时间对OLTP型的数据库进行大数据量长时间的抽取，对数据库IO(数据库文件的读写，即检索数据和插入数据)和性能造成了很大影响。

2、一般采取人工从备份COW库取数方式解决上述问题，但人工切换方式易产生操作失误，且增加了不必要的人力。

发明内容

基于此，有必要针对现行ETL任务数据源切换方法，大数据量长时间的抽取，对数据库文件的读取和性能造成了很大影响，人工切换方式易产生操作失误的弊端，提供一种ETL任务数据源切换方法、系统、计算机设备和存储介质。

一种ETL任务数据源切换方法，所述切换方法包括：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW 库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过 API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。

在其中一个实施例中，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。

在其中一个实施例中，所述调用SHELL脚本，所述SHELL脚本封装有调用 API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：