[发明专利]一种基于日志的结构化数据同步方法

权利要求书

1.一种基于日志的结构化数据同步方法，其特征在于，包括如下步骤：

a)创建中间表，用于存放存疑表的主键以及存疑字段；

b)修改数据库同步设置，加入存疑表到中间表的同步策略；

c)修改数据库同步设置策略，在存疑表到存疑表的同步中加入过滤条件以及存储过程；

d)在存疑表上创建触发器并设置触发日期，用于中间表的清理以及非法日期格式数据的录入。

2.如权利要求1所述的基于日志的结构化数据同步方法，其特征在于，所述数据库为Oracle Golden Gate，所述存疑表中异常数据以字符串形式插入到该中间表中,若中间表中的异常数据为数据表主键的一部分，则指定数据表中的其他字段作为主键。

3.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，如果存疑表中存在存疑日期，则将存疑日期替换为触发日期。

4.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤b)中存疑表到中间表的同步过程如下：

对于DML类型为INSERT的记录，将Oracle GoldenGate主键以及存疑字段直接插入到中间表；

对于DML类型为DELETE的记录，忽略存疑表到中间表的同步；

对于DML类型为UPDATE的记录，如果存疑字段状态均为缺失状态，忽略存疑表到中间表的同步；否则将相应记录的GoldenGate主键以及存疑字段插入到中间表。

5.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤c)中存疑表到存疑表的同步过程如下：

首先发起SQL语句查询，若返回的中间表的存疑字段中存在非法日期格式，利用GoldenGate的COLMAP功能，将状态非缺失的异常记录的非法日期改为触发日期；

然后再进行正常的GoldenGate同步。

6.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤d)中触发器的处理过程如下：

d1)判断存疑日期是否均非触发日期，如果结果为真，则说明记录无任何异常，触发器的处理过程结束；

d2)通过查询中间表获取各存疑字段，并以字符串格式存放；

d3)对存疑字段的各值作运算，生成RAW格式的值；

d4)调用Oracle的函数转化将存疑数据从RAW格式转化为日期格式；

d5)利用主键更新存疑字段并清理中间表。