[发明专利]一种针对数据同步的优化方法

说明书

本发明涉及计算机领域，具体提供了一种针对数据同步的优化方法，具有以下步骤：S1、全量同步翻页问题的定位；S2、功能接口全局认识；S3、接口代码变更。与现有技术相比，本发明的一种针对数据同步的优化方法，避免慢sql，以及根据多线程及区间id加快数据同步速度。

技术领域

本发明涉及计算机领域，具体提供一种针对数据同步的优化方法。

背景技术

Canal是阿里巴巴旗下的一款开源项目,Java开发。基于数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL和mariaDB。早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启了一段新纪元。目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析。

现在互联网技术的快速发展，针对不同端的数据量也是日趋增多，很多查询都是从关系型数据库查询，nosql的出现实现大数据量的快速搜索，提高用户对产品的使用体验。举例订单，订单数据量对于一家电商性质互联网公司是一很大的板块，类似出现根据筛选条件在nosql下查询对应的id，然后再根据对应的id从关系型数据库中查询，这种方案随着订单量的增加，查询效率非常低下，并且有一部分查询条件nosql里面还没有存储，进一步加大了数据库的查询压力，数据同步方案耦合在系统代码里面，效率低下。

随着订单量的增加，搜索方案压力越来越大，超时情况越来越多，查询超时。导出超时，客户体验逐步下降。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的针对数据同步的优化方法。

本发明解决其技术问题所采用的技术方案是：

一种针对数据同步的优化方法，具有以下步骤：

S1、全量同步翻页问题的定位；

S2、功能接口全局认识；

S3、接口代码变更。

进一步的，在步骤S1中，通过sql进行查询，按照offset方式进行翻页，位于com.alibaba.otter.canal.client.adapter.support.AbstractEtlService的importData方法中可自行定位。

进一步的，Mysql的limit m,n是先根据where条件查询出符合的m+n条数据，此后再把前m条数据筛去，将后面所需的n条返回，使得在小数据量的时候，只要保证索引即可。

作为优选，在大数据量时，则按照id区间查询。

进一步的，在步骤S2中，Canal的instance模块，每个instance模块都模拟成一个mysql的slave，instance模块的核心就是数据源的接入，伪装slave协议，根据协议解析，sink和store模块用来对数据的过滤和存贮，meta模块记录canal消费binlog的实际位置。

进一步的，在步骤S2中的具体步骤为：

先明确CanalInstance的几个关键组成方法，数据源接入，模拟slave协议和master进行交互，协议解析，位于canal.parse模块中，parser和store链接器，进行数据过滤，加工，分发的工作，位于canal.sink模块中；

数据存储，位于canal.store模块中，增量订阅和消费元数据管理器，位于canal.meta模块中，告警，位于canal.common块中，客户端发生订阅或取消订阅行为。

进一步的，在步骤S3中，进一步包括：