[发明专利]分布式数据库同步处理的方法和装置

权利要求书

1.一种分布式数据库同步处理的方法，其特征在于，多个业务系统独立地操作所述数据库，每个业务系统对应一个监听机构、一个数据变更日志、一个同步消息队列和一个消息消费者，所述方法包括：

每个所述监听机构监听对应的业务系统的数据变更日志，并且当监听到所述数据变更日志发生变更时，抓取对应的业务系统的数据变更日志并解析，路由数据变更日志的来源，并提取生成消息体需要的报文参数信息以根据该变更生成数据同步消息，并且根据所述数据变更日志的来源把该数据同步消息置于对应的业务系统的同步消息队列；

每个所述消息消费者从对应的业务系统的同步消息队列中获取数据同步消息，根据所述数据同步消息获得待同步数据，并且把所述待同步数据加载到搜索引擎；如果所述搜索引擎出现同步异常的情况，则通过插入数据库同步任务的方式，使得通过Java定时任务来异步执行数据信息的同步。

2.根据权利要求1所述的方法，其特征在于，所述搜索引擎是ElasticSearch。

3.根据权利要求1所述的方法，其特征在于，每个所述监听机构监听对应的业务系统的数据变更日志之前，还包括：

在数据库安装的时候开启日志写入功能；以及

设置所述监听机构对所述数据库的访问权限。

4.根据权利要求1所述的方法，其特征在于，所述数据同步消息包括：发生变更的数据表名、数据表主键、分库分表的字段信息及字段值。

5.根据权利要求1所述的方法，其特征在于，根据所述数据同步消息获得待同步数据的步骤包括：

判定所述数据同步消息的消息体报文是否有效；并且

当有效时，根据所述消息体的数据表名获取数据同步处理逻辑，并且根据所述数据同步消息的消息体中的数据表主键查询所述待同步数据。

6.根据权利要求1所述的方法，其特征在于，所述监听机构是基于Zookeeper实现的集群服务。

7.一种分布式数据库同步处理的装置，其特征在于，多个业务系统独立地操作所述数据库，每个业务系统对应一个监听机构、一个数据变更日志、一个同步消息队列和一个消息消费者，所述装置包括：

业务解耦模块，用于每个所述监听机构监听对应的业务系统的数据变更日志，并且当监听到所述数据变更日志发生变更时，抓取对应的业务系统的数据变更日志并解析，路由数据变更日志的来源，并提取生成消息体需要的报文参数信息以根据该变更生成数据同步消息，并且根据所述数据变更日志的来源把该数据同步消息置于对应的业务系统的同步消息队列；

数据同步模块，用于每个消息消费者从对应的所述业务系统的同步消息队列中获取数据同步消息，根据所述数据同步消息获得待同步数据，并且把所述待同步数据加载到搜索引擎；如果所述搜索引擎出现同步异常的情况，则通过插入数据库同步任务的方式，使得通过Java定时任务来异步执行数据信息的同步。

8.根据权利要求7所述的装置，其特征在于，所述搜索引擎是ElasticSearch。

9.根据权利要求7所述的装置，其特征在于，所述业务解耦模块在每个所述监听机构监听对应的业务系统的数据变更日志之前，还用于：

在数据库安装的时候开启日志写入功能；以及

设置所述监听机构对所述数据库的访问权限。

10.根据权利要求7所述的装置，其特征在于，所述数据同步消息包括：

发生变更的数据表名、数据表主键、分库分表的字段信息及字段值。

11.根据权利要求7所述的装置，其特征在于，所述数据同步模块还用于：

判定所述数据同步消息的消息体报文是否有效；并且

当有效时，根据所述消息体的数据表名获取数据同步处理逻辑，并且根据所述数据同步消息的消息体中的数据表主键查询所述待同步数据。