[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开的实施例提供了一种数据处理方法、装置、电子设备及存储介质。该方法包括：响应于数据库的数据变更，通过数据库发送增量信息；通过采集组件接收增量信息并且进行解析，得到解析信息；通过消息发布系统发送解析信息，其中，解析信息包括合并信息和非合并信息；通过存储器记录合并信息和非合并信息的更改时间。本公开的数据处理方法和数据处理模块提供了数据库DB层面的数据收敛，提供了数据的双流设计，并且提供了统一的容灾机制，能够对上游屏蔽这个模块的操作和避免在这个模块层面中出现问题。

技术领域

本公开的实施例涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，对数据库(DB)采用定时增量加全量查询方式，例如，采用定时增量拉取方式。即，数据链路的同步几乎都是采用数据定时拉取方式，从而产生数据延迟，不能很好地做到数据的实时同步。另外，目前也缺乏具有良好容灾机制的数据服务模块。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

为了解决上述问题，本公开提供了一种数据处理方法、装置、电子设备及存储介质，本公开的数据处理方法和数据处理模块能够提供双数据流机制以及统一的容灾机制，让用户无感知地获得良好的数据服务。

根据本公开的一个实施例，提供了一种数据处理方法，包括：响应于数据库的数据变更，通过所述数据库发送增量信息；通过采集组件接收所述增量信息并且对所述增量信息进行解析，得到解析信息；通过消息发布系统发送所述解析信息，其中，所述解析信息包括合并信息和非合并信息；通过存储器记录所述合并信息和所述非合并信息的更改时间。

根据本公开的另一实施例，提供了一种数据处理装置，包括：数据库，响应于所述数据库的数据变更，从所述数据库发出增量信息；采集组件，接收所述增量信息并且对所述增量信息进行解析，得到解析信息；消息发布系统，用于发送所述解析信息，其中，所述解析信息包括合并信息和非合并信息；存储器，用于维护所述合并信息和所述非合并信息的消费位点和更改时间的映射。

根据本公开的另一实施例，提供了一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行上述数据处理方法。

根据本公开的另一实施例，提供了一种计算机存储介质，所述计算机存储介质存储有程序代码，所述程序代码用于执行上述数据处理方法。

通过采用本公开的数据处理方法和数据处理装置，提供了数据库DB层面的数据收敛，提供了数据的双流设计，并且提供了统一的容灾机制，能够对上游屏蔽这个模块的操作和避免在这个模块层面中出现问题。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1示出了现有的数据处理方式。

图2示出了本公开的实施例的数据处理方法的示意流程图。

图3示出了本公开的实施例的数据处理方式的示意图。

图4示出了本公开的实施例的数据处理装置的示意图。

图5示出了本公开的实施例的数据处理方法的示意流程图。

图6示出了本公开的获取方式的切换的示意图。

图7示出了适于用来实现本公开的实施例的电子设备700的结构示意图。