[发明专利]一种基于大数据的数据同步方法及装置

说明书

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于大数据的数据同步方法及装置。

背景技术

随着大数据技术的不断发展，当前各类数据存储服务层出不穷，例如：所述存储服务包括：关系型数据库Mysql、非关系型数据库HBase、数据仓库Hive、文件存储HDFS以及具有存储功能的文件索引服务Elasicsearch等。这些存储数据服务可能会应用到相同的存储数据，因此需要进行数据存储服务间的数据服务。

但是，现有技术中，不同类型的数据存储服务之间进行数据同步时，由于不同类型的数据存储服务的接口类型不同，因此需要在不同类型的数据存储服务的接口中不断切换，因此不仅操作过程繁琐、而且实现的成本较高。

发明内容

有鉴于此，本发明实施例提供了一种基于大数据的同步方法及装置，解决了现有技术中由于不同类型的数据存储服务的接口类型不同，需要在不同类型的数据存储服务的接口中不断切换的问题。

本发明实施例提供了一种基于大数据的同步方法，所述方法可以包括：

当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给Data Reader；

所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；

依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；

将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；

所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。

优选的，所述将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给Data Reader，包括：

获取访问所述第一目标数据源的第一访问信息；

将所述第一访问信息转换成相对应的参数；

将所述第一访问信息相对应的参数发送给所述DataReader。

优选的，所述DataReader依据获得的所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步的数据保存为第一数据抽象，包括：

对接收到的第一访问信息对应的参数进行解析，获得所述第一目标数据源的类型和连接信息；

依据所述第一目标数据源的连接信息连接到所述第一目标数据源；

基于所述第一目标数据源的类型获得所述第一目标数据源的接口类型，并依据所述第一目标数据源的接口类型从所述第一目标数据源中读取待同步的数据。

优选的，所述将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter，包括：

获取访问所述第二目标数据源所需的第二访问信息；

将所述第二访问信息转换成对应的参数；

将所述第二访问信息对应的参数发送给所述DataWriter。

优选的，所述DataWriter依据获所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源，包括：

将所述第二访问信息对应的参数进行解析，获得所述第二目标数据源的类型和连接信息；

依据所述第二目标数据源的连接信息连接到所述第二目标数据源；

依据所述第二目标数据源的类型，获取所述第二目标数据源的接口类型，并依据所述第二目标数据源的接口类型，通过所述DataWriter将所述第二数据抽象写入到所述第二目标数据源。

本发明实施例还提供了一种基于大数据的同步装置，所述装置可以包括：

第一发送单元，用于当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；

读取单元，用于所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；

转换单元，用于依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；

第二发送单元，用于将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；写入单元，用于所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。