[发明专利]一种数据拼接方法、装置、介质及电子设备

权利要求书

1.一种数据拼接方法，其特征在于，包括：

从源数据库中确定出日志文件的变更数据，将所述变更数据加入至消息队列；

对所述消息队列中的变更数据进行预处理，确定出所述变更数据中的待拼接数据；

根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。

2.根据权利要求1所述的数据拼接方法，其特征在于，所述从源数据库中确定出日志文件的变更数据包括：

对所述关系型数据库中的日志文件进行实时检测，确定出所述日志文件中更改数据库表以及更改内容的变更数据。

3.根据权利要求1所述的数据拼接方法，其特征在于，所述对所述变更数据进行预处理，确定出所述变更数据中的待拼接数据包括：

预设的Strom集群获取所述消息队列中的变更数据后，分发所述变更数据；

根据预设的目标字段对所分发的变更数据进行识别，获得符合所述目标字段的变更数据；

将所述符合所述目标字段的变更数据确定为所述待拼接数据，并将所述待拼接数据进行map封装。

4.根据权利要求1所述的数据拼接方法，其特征在于，所述根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库包括：

根据所述预设的业务表外键判断各个所述待拼接数据之间的关联关系；

将所确定出有关联关系的待拼接数据进行拼接，获得拼接数据；

将所述拼接数据同步至目标数据库。

5.根据权利要求4所述的数据拼接方法，其特征在于，所述方法还包括：

判断所述拼接数据是否需要继续拼接；

当确定所述拼接数据需要继续拼接后，将所述拼接数据导入至中转数据库中，并检测是否获取需要继续拼接的待拼接数据；

当获取需要继续拼接的待拼接数据后，将所述中转数据库中的拼接数据取出与所述需要继续拼接的待拼接数据进行拼接，获得第二次拼接后的拼接数据；

将所述第二次拼接后的拼接数据同步至目标数据库。

6.一种数据拼接装置，没其特征在于，包括：

确定模块，用于从源数据库中确定出日志文件的变更数据，将所述变更数据加入至消息队列；

预处理模块，用于对所述消息队列中的变更数据进行预处理，确定出所述变更数据中的待拼接数据；

拼接模块，用于根据预设数据库表的外键对各个所述待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。

7.根据权利要求6所述的数据拼接装置，没其特征在于，所述确定模块具体用于：

对所述关系型数据库中的日志文件进行实时检测，确定出所述日志文件中更改数据库表以及更改内容的变更数据。

8.根据权利要求6所述的数据拼接装置，没其特征在于，所述预处理模块具体用于：

预设的Strom集群获取所述消息队列中的变更数据后，分发所述变更数据；

根据预设的目标字段对所分发的变更数据进行识别，获得符合所述目标字段的变更数据；

将所述符合所述目标字段的变更数据确定为所述待拼接数据，并将所述待拼接数据进行map封装。

9.根据权利要求6所述的数据拼接装置，没其特征在于，所述拼接模块具体用于：

根据所述预设的业务表外键判断各个所述待拼接数据之间的关联关系；

将所确定出有关联关系的待拼接数据进行拼接，获得拼接数据；

将所述拼接数据同步至目标数据库。