[发明专利]数据处理方法、装置、设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：

在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志提取所述更新日志中的更新数据；

在所述更新数据为第一数据类型时，将所述更新数据添加到预设消息队列中，通过流式数据引擎处理所述预设消息队列中的更新数据得到标准数据，并将所述标准数据同步至第一数据库；

在所述更新数据为第二数据类型时，封装所述更新数据并将封装后的更新数据同步至内存中的第二数据库；

在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，查询所述第一数据库或所述第二数据库，获取所述查询语句对应的目标数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志提取所述更新日志中的更新数据的步骤之前，包括：

在接收到源数据库监控指令时，将所述源数据库监控指令发送至预设数据采集器，以使所述预设数据采集器启动并注册源数据库对应的监控实例；

通过所述监控实例采集源数据库操作指令，将所述源数据库操作指令添加至预设日志模板，生成更新日志。

3.如权利要求1所述的数据处理方法，其特征在于，所述在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，查询所述第一数据库或所述第二数据库，获取所述查询语句对应的目标数据的步骤，包括：

在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，及所述查询语句中的数据类型；

在所述数据类型为第一数据类型时，查询所述第一数据库获取所述查询语句对应的第一目标数据；

在所述数据类型为第二数据类型时，查询所述第二数据库获取所述查询语句对应的第二目标数据。

4.如权利要求1所述的数据处理方法，其特征在于，所述在所述更新数据为第二数据类型时，封装所述更新数据并将封装后的更新数据同步至内存中的第二数据库的步骤之后，包括：

提取所述第二数据库中预设时间间隔之前产生的更新数据，将所述更新数据输入至预设消息队列中；

调用流式计算引擎对所述预设消息队列中的所述更新数据进行处理，得到分布式数据流；

将处理后的分布式数据流中的标准数据同步至第一数据库。

5.如权利要求4所述的数据处理方法，其特征在于，所述在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，查询所述第一数据库或所述第二数据库，获取所述查询语句对应的目标数据的步骤，包括：

在接收到数据查询请求时，获取所述数据查询请求对应的查询语句，及所述查询语句中的数据类型；

在所述数据类型为第一数据类型时，查询所述第一数据库获取所述查询语句对应的第一目标数据；

在所述数据类型为第二数据类型时，获取所述查询语句中的数据更新时间，若所述数据更新时间在所述预设时间间隔之前，则查询所述第一数据库获取所述查询语句对应的第二目标数据，若所述数据更新时间在所述预设时间间隔之后，则查询所述第二数据库获取所述查询语句对应的第二目标数据。

6.如权利要求1-5任意一项所述的数据处理方法，其特征在于，所述在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志提取所述更新日志中的更新数据的步骤，包括：

在检测到源数据库数据更新时，采集源数据库更新时的更新日志，解析所述更新日志获得所述更新日志中的源数据库操作指令；

若所述更新日志中的源数据库操作指令是删除指令时，对第一数据库执行所述删除指令；

若所述更新日志中的源数据库操作指令不是删除指令时，解析所述更新日志提取所述更新日志中的更新数据。