[发明专利]实现数据双写的方法、装置与电子装置

说明书

本申请提供了一种实现数据双写的方法、装置与电子装置。该方法包括获取所有的调用请求，调用请求存储在etl应用中，调用请求包括第一调用请求和第二调用请求，第一调用请求是指调用第一datax工具实现源数据库与第一目标数据库的同步的请求，第二调用请求是指调用第二datax工具实现源数据库与第二目标数据库的同步的请求；采用第一配置文件，调用第一datax工具，第一配置文件存储在etl应用中；根据第一调用请求、第二调用请求和第一配置文件，生成第二配置文件；采用第二配置文件，调用第二datax工具。本方案无需调整原有的etl应用或者新增新的etl应用就实现了数据的双写，加快了数据双写的速度。

技术领域

本申请涉及数据库领域，具体而言，涉及一种实现数据双写的方法、装置、计算机可读的存储介质与电子装置。

背景技术

datax是阿里巴巴集团开源的离线数据同步工具，实现在多种异构数据源之间的数据同步功能。datax的开发方式是，先编写json格式的配置文件，配置文件中包含要进行数据同步的源数据信息和目标数据信息，通过将配置文件作为参数传递给datax工具执行，实现数据的同步。

etl应用：大数据的应用程序，本申请中特指通过调用datax实现异构数据源同步的应用程序。

通常调用datax的配置文件存储在etl应用中，大数据平台上经常会在生产环境线上运行着大量的etl应用，通过调用etl应用中的配置文件实现不同数据源之间的数据同步。在遇到机房搬迁或者平台迁移时，往往需要这些etl应用实现双写，即：既保持原有环境上的数据同步进行，又要将同样的数据同步到新平台或新机房一份。现有技术中在遇到机房搬迁或者平台迁移时，实现数据的双写，往往需要新增大量新etl应用或对原有的etl应用进行大规模调整。就需要投入大量的人力进行新应用程序的开发，花费大量的时间进行逐个测试部署。

针对相关技术中，在遇到机房搬迁或者平台迁移时，实现数据的双写，往往需要新增大量新etl应用或对原有的etl应用进行大规模调整等问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种实现数据双写的方法、装置、计算机可读的存储介质与电子装置，以至少解决相关技术中，在遇到机房搬迁或者平台迁移时，实现数据的双写，往往需要新增大量新etl应用或对原有的etl应用进行大规模调整等问题。

根据本发明实施例的一个实施例，提供了一种实现数据双写的方法，包括：获取所有的调用请求，所述调用请求存储在etl应用中，所述调用请求包括第一调用请求和第二调用请求，所述第一调用请求是指调用第一datax工具实现源数据库与第一目标数据库的同步的请求，所述第二调用请求是指调用第二datax工具实现所述源数据库与第二目标数据库的同步的请求；采用第一配置文件，调用所述第一datax工具，所述第一配置文件存储在所述etl应用中；根据所述第一调用请求、所述第二调用请求和所述第一配置文件，生成第二配置文件；采用所述第二配置文件，调用所述第二datax工具。

在一个示例性实施例中，所述第一调用请求包括所述源数据库的地址、所述源数据库的库名、所述第一目标数据库的地址和所述第一目标数据库的库名，所述第二调用请求包括所述源数据库的地址、所述源数据库的库名、所述第二目标数据库的地址和所述第二目标数据库的库名。

在一个示例性实施例中，根据所述第一调用请求、所述第二调用请求和所述第一配置文件，生成第二配置文件，包括：获取地址差异，所述地址差异为所述第一目标数据库的地址与所述第二目标数据库的地址之间的差异；获取库名差异，所述库名差异为所述第一目标数据库的库名与所述第二目标数据库的库名之间的差异；至少根据所述地址差异和所述库名差异，对所述第一配置文件进行修改，得到所述第二配置文件。

在一个示例性实施例中，至少根据所述地址差异和所述库名差异，对所述第一配置文件进行修改，得到所述第二配置文件，包括：根据所述地址差异，对所述第一配置文件中的第一标志位进行修改；根据所述库名差异，对所述第一配置文件中的第二标志位进行修改，得到所述第二配置文件。