[发明专利]数据处理方法、装置、设备和存储介质

说明书

本发明公开了一种数据处理方法，包括以下步骤：在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析更新日志提取更新日志中的更新数据；在更新数据为第一数据类型时，将更新数据添加到预设消息队列中，通过流式数据引擎处理预设消息队列中的更新数据得到标准数据，并将标准数据同步至第一数据库；在更新数据为第二数据类型时，封装更新数据并将封装后的更新数据同步至内存中的第二数据库；在接收到数据查询请求时，获取数据查询请求对应的查询语句，查询第一数据库或第二数据库，获取查询语句对应的目标数据。本发明还公开了一种数据处理装置、设备和存储介质。本发明实现了完整实时地数据同步。

技术领域

本发明涉及数据处理领域，尤其涉及数据处理方法、装置、设备和存储介质。

背景技术

随着大数据技术的发展，业务平台越来越多各个业务平台都有各自的业务数据，为了统一管理各个业务平台产生的业务数据，需要进行业务数据的同步。

当前数据同步主要采用以下两种方式：方式一固定周期(例如，每天凌晨)对源数据库进行数据同步，这样的数据同步方法存在滞后性，用户不可以实时地查询到更新数据；方式二通过高频度查询源数据库来进行数据同步，这种方式对源数据库侵入性较高，只能识别增量数据，检测不到删除与更新数据，数据完整性达不到需求。

发明内容

本发明的主要目的在于提供一种数据处理方法、装置、设备和存储介质，旨在解决当前数据同步时完整性和实时性不兼顾的技术问题。

为实现上述目的，本发明提供数据处理方法，所述数据处理方法包括以下步骤：

在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志提取所述更新日志中的更新数据；

在所述更新数据为第一数据类型时，将所述更新数据添加到预设消息队列中，通过流式数据引擎处理所述预设消息队列中的更新数据得到标准数据，并将所述标准数据同步至第一数据库；

在所述更新数据为第二数据类型时，封装所述更新数据并将封装后的更新数据同步至内存中的第二数据库；

在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，查询所述第一数据库或所述第二数据库，获取所述查询语句对应的目标数据。

在一实施例中，所述在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志提取所述更新日志中的更新数据的步骤之前，包括：

在接收到源数据库监控指令时，将所述源数据库监控指令发送至预设数据采集器，以使所述预设数据采集器启动并注册源数据库对应的监控实例；

通过所述监控实例采集源数据库操作指令，将所述源数据库操作指令添加至预设日志模板，生成更新日志。

在一实施例中，所述在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，查询所述第一数据库或所述第二数据库，获取所述查询语句对应的目标数据的步骤，包括：

在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，及所述查询语句中的数据类型；

在所述数据类型为第一数据类型时，查询所述第一数据库获取所述查询语句对应的第一目标数据；

在所述数据类型为第二数据类型时，查询所述第二数据库获取所述查询语句对应的第二目标数据。

在一实施例中，所述在所述更新数据为第二数据类型时，封装所述更新数据并将封装后的更新数据同步至内存中的第二数据库的步骤之后，包括：

提取所述第二数据库中预设时间间隔之前产生的更新数据，将所述更新数据输入至预设消息队列中；

调用流式计算引擎对所述预设消息队列中的所述更新数据进行处理，得到分布式数据流；