[发明专利]搭建异构数据库的方法、装置、设备及可读存储介质

权利要求书

1.一种搭建异构数据库的方法，其特征在于，包括：

获取待同步数据，其中，所述待同步数据包括业务数据或业务数据和日志文件；所述业务数据包括用户办理的业务；

将所述待同步数据同步至数据中转站；

将所述数据中转站中的所述待同步数据同步至目标数据库；

其中，将所述待同步数据同步至数据中转站，包括：

通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

所述通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储，包括：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；所述同步链路连接信息包括源实例信息与目标实例信息，源实例为同步作业的源实例的数据库类型；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

2.根据权利要求1所述的方法，其特征在于，所述将所述待同步数据同步至数据中转站，还包括：

通过Logstash工具将所述日志文件同步到Kafka中进行存储。

3.根据权利要求2所述的方法，其特征在于，所述通过Logstash工具将所述日志文件同步到Kafka中进行存储，包括：

通过filebeat提取所述日志文件中的数据得到日志记录；

通过所述Logstash工具将所述日志记录同步至所述Kafka中进行存储。

4.根据权利要求1所述的方法，其特征在于，所述将所述数据中转站中的所述待同步数据同步至目标数据库包括：

将所述Kafka中存储的待同步数据同步至ES数据库。

5.根据权利要求4所述的方法，其特征在于，所述将所述Kafka中存储的待同步数据同步至ES数据库，包括：

通过所述Kafka中的生产者根据预先设置的topic获取所述待同步数据；

通过所述Kafka中的消费者根据预先订阅的topic发布所述topic对应的所述待同步数据，以使Kafka connect将所述待同步数据传输到ES数据库。

6.一种搭建异构数据库的装置，其特征在于，包括：

数据获取模块，用于获取待同步数据，其中，所述待同步数据包括业务数据或业务数据和日志文件；所述业务数据包括用户办理的业务；

中转站同步模块，用于将所述待同步数据同步至数据中转站；

目标数据库同步模块，用于将所述数据中转站中的所述待同步数据同步至目标数据库；

其中，所述中转站同步模块包括：业务数据传输单元，用于通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

所述业务数据传输单元，具体用于：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；所述同步链路连接信息包括源实例信息与目标实例信息，源实例为同步作业的源实例的数据库类型；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

7.根据权利要求6所述的装置，其特征在于，所述中转站同步模块还包括：

日志文件传输单元，用于通过Logstash工具将所述日志文件同步到Kafka中进行存储。

8.一种搭建异构数据库的设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-5任一种所述的方法。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-5任一种所述的方法。