[发明专利]一种针对数据同步的优化方法

权利要求书

1.一种针对数据同步的优化方法，其特征在于,具有以下步骤：

S1、全量同步翻页问题的定位：

通过sql进行查询，按照offset方式进行翻页，位于com.alibaba.otter.canal.client.adapter.support.AbstractEtlService的importData方法中可自行定位；

Mysql的limit m,n是先根据where条件查询出符合的m+n条数据，此后再把前m条数据筛去，将后面所需的n条返回，使得在小数据量的时候，只要保证索引即可；

在大数据量时，则按照id区间查询；

S2、功能接口全局认识：

Canal的instance模块，每个instance模块都模拟成一个mysql的slave，instance模块的核心就是数据源的接入，伪装slave协议，根据协议解析，sink和store模块用来对数据的过滤和存贮，meta模块记录canal消费binlog 的实际位置；

S3、接口代码变更：

进一步包括：

S301、指定参数，获取对应的初始ID及末尾ID；

在etl接口处理时获取对应的数据初始ID即startId，对应的endId来控制数据的导入，并设置拼接条件；

S302、数据的导入；

当endIdstartId时，说明仍存在数据需要导入，sql的拼接，执行sql实现数据的导入，移除初始ID和更新初始ID；

S303、解析执行sql的executeSqlImport方法；

记录每次执行sql之后的最新的数据ID，将最新的数据ID返回保存，用于更新初始ID。

2.根据权利要求1所述的一种针对数据同步的优化方法，其特征在于，在步骤S2中的具体步骤为：

先明确CanalInstance 的几个关键组成方法，数据源接入，模拟slave协议和master进行交互，协议解析，位于canal.parse模块中，parser和store链接器，进行数据过滤，加工，分发的工作，位于canal.sink模块中；

数据存储，位于canal.store模块中，增量订阅和消费元数据管理器，位于canal.meta模块中，告警，位于canal.common块中，客户端发生订阅或取消订阅行为。