[发明专利]分布式数据库同步处理的方法和装置

说明书

本发明提供一种分布式数据库同步处理的方法和装置，能够将新增的业务代码与现有的业务代码解耦，实现高性能的数据同步处理以及聚合查询。本发明的分布式数据库同步处理的方法，多个业务系统独立地操作所述数据库，每个业务系统对应一个监听机构、一个数据变更日志、一个同步消息队列和一个消息消费者，所述方法包括：每个监听机构监听对应的业务系统的数据变更日志，并且当监听到数据变更日志发生变更时，根据该变更生成数据同步消息，并且把该数据同步消息置于对应的业务系统的同步消息队列；每个消息消费者从对应的业务系统的同步消息队列中获取数据同步消息，根据数据同步消息获得待同步数据，并且把待同步数据加载到搜索引擎。

技术领域

本发明涉及计算机和计算机软件技术领域，特别地涉及一种分布式数据库同步处理的方法和装置。

背景技术

随着虚拟业务的快速发展，虚拟业务线已经深入到各行各业，每条业务线的数据量也出现了迅猛增长。目前各业务系统的压力都非常大，部分业务线的订单数据的存储架构都从MySQL单库单表的存储开始向分库分表、分布式存储的方向改造升级。在进行分布式存储改造的过程中基本都面临历史订单的迁移、生产订单的聚合查询等难题。在解决数据同步聚合查询方面一般通过搜索引擎创建索引来完成，创建索引的过程通过业务代码埋点来解决，但是，这种实现方式对现有业务系统代码的耦合性高、侵入性强。

常用的数据同步处理的实现方式依赖业务代码，在业务代码实现流程上加入数据同步搜索引擎的处理，或者是通过插入数据同步任务，通过异步任务驱动的方式实现；或者，以分库分表中间件取代搜索引擎，例如Cobar、京东云平台推出的Jproxy等，目前这种分库分表中间件在解决数据同步聚合查询方面都是通过从每个分库里面查询记录，然后再进行聚合返回，而且在数据存储上其实只做到了数据分库存储，并不支持分表存储，每个库的数据量会随着时间的推移逐渐增大。

在使用过程中，会发现现有常用的数据同步处理的方法具有以下的缺点：

1、数据同步耦合性高

传统的通过业务代码流程添加数据库同步的功能，对现有的业务代码耦合性高、侵入性强，同时也降低了现有业务的处理效率；

2、开发、维护成本高

由于同步数据功能强耦合现有业务流程，故而造成代码可读性差，而且需要在数据变更的每一个节点上去进行数据同步的处理，因此容易出现遗漏，一旦遗漏就会出现数据不一致，这点将给开发团队带来很大的麻烦；

3、分库分表中间件性能受限

分库分表中间件在解决数据同步的聚合查询时，需要通过分库分表中间件代理服务查询每个库的记录，然后在内存中进行数据结果的聚合返回，在涉及数据量比较大并且需要进行排序分页的时候，性能堪忧；

4、历史数据迁移风险高

利用现有技术对数据库架构进行升级改造，基本都涉及到对历史数据的迁移，但是这种迁移的风险高，难度大。

发明内容

有鉴于此，本发明提供一种分布式数据库同步处理的方法和装置，能够实现将新增的业务代码与现有的业务代码解耦，从而实现高性能的数据同步处理以及聚合查询。

为实现上述目的，根据本发明的一个方面，提供了一种分布式数据库同步处理的方法。

一种分布式数据库同步处理的方法，多个业务系统独立地操作所述数据库，每个业务系统对应一个监听机构、一个数据变更日志、一个同步消息队列和一个消息消费者，所述方法包括：每个所述监听机构监听对应的业务系统的数据变更日志，并且当监听到所述数据变更日志发生变更时，根据该变更生成数据同步消息，并且把该数据同步消息置于对应的业务系统的同步消息队列；每个所述消息消费者从对应的业务系统的同步消息队列中获取数据同步消息，根据所述数据同步消息获得待同步数据，并且把所述待同步数据加载到搜索引擎。