[发明专利]一种基于日志解析的数据同步方法和数据同步系统

说明书

本发明公开了一种基于日志解析的数据同步方法和数据同步系统，所述数据同步方法包括：日志分析线程在解析到DDL操作后，判断所述DDL操作的操作类型；当所述DDL操作为创建操作时，为新创建的目标对象建立包含对象定义信息的离线字典文件；获取针对所述目标对象的目标操作，根据所述目标操作管理所述离线字典文件；从目的端获取检查点的日志序列号LSN1，根据所述日志序列号LSN1清理所述离线字典文件。在本发明中，根据源端数据库的实际操作及时管理更新离线字典文件，以避免字典文件中存在过多版本的定义信息，及时释放磁盘空间，从而避免拖慢日志同步服务重启过程的速度。

技术领域

本发明属于数据同步技术领域，更具体地，涉及一种基于日志解析的数据同步方法和数据同步系统。

背景技术

数据库同步技术目前广泛应用于分布式系统、大数据、云数据库等各类新兴产品中，通过数据库的冗余方案能够有效缓解大数据量高并发访问带给系统的巨大压力。通过抽取源数据库的事务日志，获得源数据库的数据操作，包括INSERT、DELETE、UPDATE，然后通过网络发送给复制系统的目的端，目的端恢复成原始的SQL语句在目的数据库上执行，是一种常用的数据库同步技术。它具有对源数据库的性能和数据模式影响小，可采用非常灵活的方式配置出各种拓扑结构，支持跨异构的操作系统和数据库平台复制等优点。

借助日志分析技术，解析数据库的在线或归档交易日志可以获取数据库数据的增量变化。但是为了保障目的数据库与源数据库的事务一致性，还需要通过数据库日志中每个事务对应的LSN(Log Sequence Number，简写为LSN)值或SCN(System Change Number，简写为SCN)值，对日志中的日志抽取位置及执行位置进行严格的定位。

目前市场上大多数数据库管理系统使用日志序号代表数据库系统内部产生的一个物理事务，包括SQLSERVER、MYSQL、DB2、DM6和DM7等数据库管理系统。特别要注意的是，在ORACLE数据库中，使用了SCN作为产生一个物理事务的标识，而ORACLE中的LSN仅作为日志切换的一个序号。在此，为方便描述，统一使用LSN作为数据库变化的唯一标识。

其中，LSN是由系统自动维护的数值，具有自动递增、全局唯一特性，每一个LSN值代表着数据库系统内部产生的一个物理事务。物理事务是数据库内部一系列修改物理数据页操作的集合，与数据库管理系统中事务(Transaction)概念相对应，具有原子性、有序性、无法撤销等特性。

在数据库交易日志中虽然记录了LSN(或SCN)值，但并不会记录对象(例如表、索引、视图等)的定义，而是使用一个标识(对象ID)来代表操作对象。日志分析技术在分析交易日志的过程中，需要通过对象ID来获取对象定义，才能完成正确的日志解析工作。而获取对像定义可以采用直接连接数据库查询系统表来获取对像的定义，这种获取的对像定义因为是系统中最新的版本，所以不支持对像的修改(数据库的DDL操作)；另一种则是在启动日志分析前把对像定义存到本地文件，然后根据日志解析捕获DDL操作来维护该字典文件，所以这种方式更适合大部分的同步场景。

由于需要考虑日志同步系统的异常情况，每次异常重启以后，都需要重新在日志文件查找LSN，找到故障时恢复日志分析的起点，由于日志起点发生了变化(分析位置回退到原来的后面)，就要求离线字典中需要存放对像定义的多个版本，以便在异常情况下日志分析模块回退到某个日志点时能够找到正确版本的对像定义。由于字典文件中保留每次修改的变动，在一些极端的情况下，有些应用可能会频繁对表不断的做调整，导致字典文件中会存在多个版本，在日志分析推进的过程中有些版本将不需要再访问，这些作废的版本如果不进行清理那么会造成磁盘空间的浪费，也会拖慢日志同步服务重启过程的速度。因此，如何在保证字典文件正确的前提下来管理好字典文件就成为业界亟待解决的重要技术问题。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的问题。

发明内容