[发明专利]一种数据拼接方法、装置、介质及电子设备

说明书

本发明实施例提供了一种数据拼接方法、装置、介质及电子设备，该数据拼接方法包括：从源数据库中确定出日志文件的变更数据，将变更数据加入至消息队列；对消息队列中的变更数据进行预处理，确定出变更数据中的待拼接数据；根据预设数据库表的外键对各个待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。本发明实施例的技术方案能够以对现有业务系统无入侵的改动方式，实现分布式数据库数据的拼接操作，提供了高效率的实时查询，提高了数据查询与追踪的响应速度。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据拼接方法、装置、介质及电子设备。

背景技术

随着互联网和大数据技术的推广和普及，分布式集群的数据仓库已逐步成为主流。目前数据仓库的数据来源主要包括存放于关系型数据库的会员、订单等结构化数据，以及用户行为、应用日志、图像视频等以文件形式存储的非结构化数据，其中存放于关系型数据库的会员、订单等结构化数据是数据仓库数据来源中最重要的部分，也是数据分析和挖掘最有价值的部分。

为了系统的性能考虑和高扩展性，现有建设系统都以积木方式构建，大多以微服务形式存在，并且对数据库的拆分会非常细化，但系统微服务化后，一个完整的业务单据(比如电商系统中的订单)，它的状态、分布于各个系统(订单的物流信息、订单的支付信息、订单的结算信息、开票情况)，此时，业务人员想要全流程跟踪此订单时，需要在各个系统进行查看，实施难度大且繁琐。

现有技术中对该订单的信息进行拼接一般采用如下方式:

方式1：通过数据的离线加工，对数据进行建模，建立数据仓库，提供系统进行查询，这样建模是可以解决数据的多维度存储以及拼接查询

方式2：各个业务系统发送自己的消息，然后由一个系统统一接收，接收之后对数据进行实时拼接，这样也可以作为一个准实时的拼接方案

上述的现有技术存在如下问题：

(1)方式1的技术方案有明显的滞后性，不能满足实时的场景。

(2)方式2的技术方案虽然解决了拼接的实时性，但是对业务系统的侵入较大，必须由业务系统触发发送消息。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据拼接方法、装置、介质及电子设备，进而至少在一定程度上克服相关技术中数据查询不实时并且对业务系统侵入大的一个或多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种数据拼接方法，包括：

从源数据库中确定出日志文件的变更数据，将变更数据加入至消息队列；

对消息队列中的变更数据进行预处理，确定出变更数据中的待拼接数据；

根据预设数据库表的外键对各个待拼接数据进行拼接，将拼接后所获得的拼接数据同步至目标数据库。

在本发明的一个实施例中，上述从源数据库中确定出日志文件的变更数据包括：

对关系型数据库中的日志文件进行实时检测，确定出日志文件中更改数据库表以及更改内容的变更数据。

在本发明的一个实施例中，上述对变更数据进行预处理，确定出变更数据中的待拼接数据包括：

预设的Strom集群获取消息队列中的变更数据后，分发变更数据；

根据预设的目标字段对所分发的变更数据进行识别，获得符合目标字段的变更数据；