[发明专利]关系型数据库到Hadoop数据库的数据同步方法和装置

说明书

本申请涉及一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，方法包括：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对可变参数进行配置；并根据对配置数据修改界面中可变参数的配置操作，确定可变参数的配置数据；确定业务方的关系型数据库到Hadoop数据库的数据同步等级；确定对应的同步方案，并根据同步方案执行关系型数据库到Hadoop数据库的数据同步。本申请可减少工作量，提高同步效率。

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质。

背景技术

在关系型数据库到Hadoop数据库(即HadoopDatabase，简称Hbase)的同步过程中，无论采用哪种工具，普遍都是针对单表做掺杂业务逻辑的同步设计。针对单表做掺杂业务逻辑的同步设计是指：针对每一张表设计一个同步方案。因为不同的数据表，存储的内容不一样，设计的字段等信息也都不一样，比如，订单表有订单ID、订单名称、订单金额、发货时间等字段，用户表有用户名称、用户ID、用户手机号等字段信息。举例来说，关系型数据库中有100张表，需要做100个同步方案。这种数据同步方式工作量大，而且不具备通用性。

发明内容

本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，可以提供通用的同步方案，大大减少工作量。

本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法，所述方法包括：

根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述方法还包括：将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

在一些实施例中，所述配置数据修改界面中设置有所述可变参数的默认配置参数；对应的，所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

在一些实施例中，所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

在一些实施例中，所述根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步包括：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。