[发明专利]一种数据同步方法、装置、设备及计算机可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，应用于数据同步系统，所述方法包括：

基于预先配置的数据源，获取用于获取待同步数据所需的参数；

利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，所述数据获取器基于所述数据同步系统的获取器接口定义的；

利用所述数据同步系统中的数据处理器，对所述待同步数据包括的每条数据进行同步处理，得到所述每条数据的同步处理结果，所述数据处理器基于所述数据同步系统的处理器接口定义的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

初始化所述数据同步系统，并获取所述数据同步系统中的数据获取器和数据处理器；

对所述数据获取器进行初始化，使所述数据获取器与对应的数据源进行关联；

对所述数据处理器进行初始化，使所述数据处理器与对应的数据源进行关联。

3.根据权利要求1所述的方法，其特征在于，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，包括：

基于预先配置的数据源，确定所述数据源的类型，所述数据源的类型包括数据库，Redis缓存和ES；

当所述数据源的类型为数据库或ES时，获取用于获取待同步数据所需的搜索字段和搜索空间；

所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：

基于所述搜索字段，利用所述数据获取器在所述搜索空间中进行ES搜索，得到符合所述搜索字段条件的搜索数据；

将所述搜索数据确定为待同步数据。

4.根据权利要求3所述的方法，其特征在于，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，还包括：

当所述数据源的类型为Redis缓存时，获取用于获取待同步数据所需的搜索字段、匹配规则和搜索空间；

所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：

基于所述搜索字段，利用所述数据获取器在所述搜索空间中进行ES搜索，得到符合所述搜索字段条件的搜索数据；

将所述匹配规则与所述搜索数据进行融合，得到缓存关键字；

基于所述缓存关键字，利用所述数据获取器在所述搜索空间中进行ES搜索，得到待同步数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述每条数据的同步处理结果生成所述每条数据的日志数据；

将所述每条数据的日志数据记录至ES日志文件中。

6.根据权利要求5所述的方法，其特征在于，所述基于所述每条数据的同步处理结果生成所述每条数据的日志数据，包括：

基于预设规则生成所述每条数据的同步标识；

基于所述每条数据的同步处理结果，获取所述每条数据的状态信息；

将所述每条数据在数据源中的数据标识、所述同步标识、所述同步处理结果和所述状态信息确定为所述每条数据的日志数据。

7.根据权利要求6所述的方法，其特征在于，所述同步处理结果包括用于表征数据同步处理成功的第一标识和用于表征数据同步处理失败的第二标识；

所述方法还包括：

基于所述同步标识和所述第二标识，在所述ES日志文件中进行ES搜索，得到目标数据标识，所述目标数据标识对应的数据同步处理失败；

利用所述数据处理器，对所述目标数据标识对应的数据进行二次同步处理，得到同步处理失败的各条数据的二次同步处理结果；

基于所述同步处理失败的每条数据的二次同步处理结果，生成所述同步处理失败的每条数据的日志数据；

将所述同步处理失败的每条数据的日志数据记录至ES日志文件中。