[发明专利]数据变更日志的处理方法、装置和电子设备

说明书

本申请公开了一种数据变更日志的处理方法、装置和电子设备，用于解决现有技术中无法及时并完整地获取数据变更日志的问题。该方法包括：与数据库建立连接；基于所述连接，从所述数据库拉取数据变更日志；根据业务系统能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据，所述业务系统部署在客户端上；将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。

技术领域

本申请属于计算机技术领域，具体涉及一种数据变更日志的处理方法、装置和电子设备。

背景技术

随着计算机技术的飞速发展，数据库的存储容量越来越大。为了使得业务系统能够及时根据数据库中的数据变更做出响应，通常在数据库中的数据变更时，就需要及时地获取到数据变更的内容。

在一种现有技术中，通过在业务系统插入探测点的方式，来达到监测数据库的数据变更并及时通知业务系统的目的。但是这种插入探测点的方法，往往会影响原本的业务系统的性能和稳定性。

在另一种现有技术中，现有技术中有一种能够不影响业务系统稳定性的数据变更的获取方法，就是可定时获取数据库中的全量数据，并将实时获取到的全量数据与前一次获取到的数据进行对比，从而查找出发生变更的数据和数据的变更内容。然而，这种方法是定时进行的，实时获取到的数据，可能是在前一次获取数据之后，经过多次变更得到的。因此，上述方法只能获取到相邻时间节点之间的数据的差异，而不能获取到数据的完整变更过程和数据每次发生变更的具体内容。

因此，亟需一种方法能够在不影响业务系统稳定性的前提下，及时获取数据库中数据的变更信息，从而提高业务系统的响应效率。

发明内容

本申请实施例的目的是提供一种数据变更日志的处理方法、装置和电子设备，能够解决现有技术中无法及时并完整地获取数据变更日志的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提出了一种数据变更日志的处理方法，该方法应用于日志拉取服务端，该方法包括：

与数据库建立连接；

基于所述连接，从所述数据库拉取数据变更日志；

根据业务系统能够识别的数据格式，将所述数据变更日志解析为具备所述数据格式的日志数据，所述业务系统部署在客户端上；

将所述日志数据发送给消息中间件；所述消息中间件用于：所述客户端在监听到所述消息中间件中存在日志数据时，从所述消息中间件拉取日志数据。

第二方面，提出了一种数据变更日志的处理方法，该方法应用于客户端，该方法包括：

向日志拉取服务端发送配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；

监听所述消息中间件中是否存在日志数据；所述消息中间件中的日志数据，由所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送；

若监听到所述消息中间件中存在日志数据，则从所述消息中间件拉取日志数据。

第三方面，提出了一种数据变更日志的处理方法，该方法应用于配置服务端，该方法包括：

接收客户端发送的配置信息，所述配置信息中至少包括：客户端期望获取的日志数据对应的数据库的地址，以及，消息中间件的地址；

将所述配置信息发送给日志拉取服务端，以触发所述日志拉取服务端基于所述数据库的地址从所述数据库中获取数据变更日志后，根据所述数据变更日志和所述消息中间件的地址，向所述消息中间件发送日志数据。