[发明专利]一种数据同步方法、装置、设备及计算机可读存储介质

说明书

本申请提供一种数据同步方法、装置、设备及计算机可读存储介质，应用于数据同步系统，包括：基于预先配置的数据源获取用于获取待同步数据所需的参数；利用参数和数据同步系统中的数据获取器，从数据源中获取待同步数据，数据获取器基于数据同步系统的获取器接口定义的；利用数据同步系统中的数据处理器，对待同步数据包括的每条数据进行同步处理，得到每条数据的同步处理结果，数据处理器基于数据同步系统的处理器接口定义的。当增加新的数据源、或者需要新的数据获取逻辑、处理逻辑时，仅需增加对应的获取器类和处理器类，如此根据定义的数据获取器和数据处理器进行数据同步，实现数据同步系统的高度复用性，能够减少代码开发量、降低开发成本。

技术领域

本申请涉及数据处理技术领域，涉及但不限于一种数据同步方法、装置、设备及计算机可读存储介质。

背景技术

电子信息蓬勃发展的时代，膨胀增长的信息在各互联网系统间飞快的传递着。尽管如今的系统将数据高度一致性作为系统的基本要求来进行维护，但仍存在许多因素导致这点无法实现，例如网络原因导致数据丢失、代码逻辑原因导致数据未同步等。

相关技术中解决数据不一致的方案主要有：重新触发数据库变更进行数据同步的方案和开发刷数据、删除数据工具进行数据同步的方案，该两种方案均存在数据同步工具针对性过强，导致复用性低，开发量大，大大增加了研发的开发压力和时间成本。

发明内容

有鉴于此，本申请实施例提供一种数据同步方法、装置、设备及计算机可读存储介质。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种数据同步方法，应用于数据同步系统，所述方法包括：

基于预先配置的数据源，获取用于获取待同步数据所需的参数；

利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，所述数据获取器基于所述数据同步系统的获取器接口定义的；

利用所述数据同步系统中的数据处理器，对所述待同步数据包括的每条数据进行同步处理，得到所述每条数据的同步处理结果，所述数据处理器基于所述数据同步系统的处理器接口定义的。

在一些实施例中，所述方法还包括：

初始化所述数据同步系统，并获取所述数据同步系统中的数据获取器和数据处理器；

对所述数据获取器进行初始化，使所述数据获取器与对应的数据源进行关联；

对所述数据处理器进行初始化，使所述数据处理器与对应的数据源进行关联。

在一些实施例中，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，包括：

基于预先配置的数据源，确定所述数据源的类型，所述数据源的类型包括数据库，Redis缓存和ES；

当所述数据源的类型为数据库或ES时，获取用于获取待同步数据所需的搜索字段和搜索空间；

所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：

基于所述搜索字段，利用所述数据获取器在所述搜索空间中进行ES搜索，得到符合所述搜索字段条件的搜索数据；

将所述搜索数据确定为待同步数据。

在一些实施例中，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，还包括：

当所述数据源的类型为Redis缓存时，获取用于获取待同步数据所需的搜索字段、匹配规则和搜索空间；

所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：