[发明专利]一种基于大数据的数据同步方法及装置

权利要求书

1.一种基于大数据的同步方法，其特征在于，所述方法包括：

当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；

所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；

依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；

将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；

所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。

2.根据权利要求1所述的方法，其特征在于，所述将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader，包括：

获取访问所述第一目标数据源的第一访问信息；

将所述第一访问信息转换成相对应的参数；

将所述第一访问信息相对应的参数发送给所述DataReader。

3.根据权利要求1所述的方法，其特征在于，所述Data Reader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步的数据保存为第一数据抽象，包括：

对接收到的第一访问信息对应的参数进行解析，获得所述第一目标数据源的类型和连接信息；

依据所述第一目标数据源的连接信息连接到所述第一目标数据源；

基于所述第一目标数据源的类型获得所述第一目标数据源的接口类型，并依据所述第一目标数据源的接口类型从所述第一目标数据源中读取所述待同步的数据。

4.根据权利要求1所述的方法其特征在于，所述将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter，包括：

获取访问所述第二目标数据源所需的第二访问信息；

将所述第二访问信息转换成对应的参数；

将所述第二访问信息对应的参数发送给所述DataWriter。

5.根据权利要求1所述的方法，其特征在于，所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源，包括：

将所述第二访问信息对应的参数进行解析，获得所述第二目标数据源的类型和连接信息；

依据所述第二目标数据源的连接信息连接到所述第二目标数据源；

依据所述第二目标数据源的类型，获取所述第二目标数据源的接口类型，并依据所述第二目标数据源的接口类型，通过所述DataWriter将所述第二数据抽象写入到所述第二目标数据源。

6.一种基于大数据的同步装置，其特征在于，所述装置包括：

第一发送单元，用于当接收到将第一目标数据源与第二目标数据源进行数据同步的指令后，将访问所述第一目标数据源所需的第一访问信息以参数的形式发送给DataReader；

读取单元，用于所述DataReader依据所述第一访问信息对应的参数，从所述第一目标数据源中读取待同步的数据，并将所述待同步数据保存为第一数据抽象；

转换单元，用于依据预设的处理逻辑将所述第一数据抽象转换成第二数据抽象；其中，所述预设的处理逻辑为用户自定义设置的；

第二发送单元，用于将访问所述第二目标数据源所需的第二访问信息以参数的形式发送给DataWriter；写入单元，用于所述DataWriter依据所述第二访问信息对应的参数，将所述第二数据抽象写入所述第二目标数据源。

7.根据权利要求6所述的装置，其特征在于，所述第一发送单元，包括：

第一获取单元，用于获取访问所述第一目标数据源的第一访问信息；

第一转换子单元，用于将所述第一访问信息转换成相对应的参数；

第一发送子单元，用于将所述第一访问信息相对应的参数发送给所述DataReader。