[发明专利]一种还原历史表结构的方法和系统

说明书

本发明涉及数据库数据复制技术，公开了一种还原历史表结构的方法和系统，其应用于数据同步系统中，其方法包括；记录基准数据库表结构信息，获取数据库中所有表结构的信息，该结构信息即为基准数据库表结构信息；记录所有数据库表变更操作信息；还原任意时刻点数据库表结构信息，依据基准数据库表结构信息和数据库表变更操作信息，还原任意时刻点数据库表结构信息。通过本发明的方法，能够在任意时刻，将该时刻前的所有表变更历史操作DDL(SQL)与数据表结构信息进行应用(apply)，还原该指定时刻的完整表结构信息。

技术领域

本发明涉及数据库数据复制技术，尤其涉及了一种还原历史表结构的方法和系统。

背景技术

基于日志解析的数据库同步中间件(CDC)技术，是通过接收并解析数据库日志流数据，获取日志流中的表结构事件(TableMap Event)，该TableMap Event对象中仅包含对表的基本描述信息，比如列数量，列精度及后续数据的存储格式等，但不包括列名、列编码与列类型等关键信息，故对于后续若要完整解析真正的数据时需要在该步骤中获取完整的表结构信息，现有的解决方案会在此处使用反查数据库等技术方式获取完整表结构信息，但真正的业务使用中，此种处理方式无法解决以下问题:

在T0～T1的时间内，表结构A发生过增加列的DDL操作，那在处理T0时间段A表的binlog时，拿到的表结构为T1的镜像，就会出现列不匹配的情况；

在T0～T1发生了增加C1列、删除了C2列，此时拿到的列的总数还是和T0时保持一致，但是对应的列会错位；

在T0～T1发生了drop table的DDL，此时拿表结构时会出现无法找到表的异常，一直阻塞整个日志解析的处理。

例如专利名称，数据库DDL变更操作的跟踪方法、装置、系统及介质；专利申请号：CN201910485604.2；申请日为：2019-06-03；专利中：当通过预设的结构化查询语言SQL执行界面接收到SQL语句后，检测所述SQL语句是否符合预设的执行条件；若所述SQL语句符合执行条件，则在所述SQL语句执行成功后获取与所述SQL语句对应的第一DDL变更语句；获取所述SQL语句对应用户的用户信息，将所述用户信息和所述第一DDL变更语句存储至预设数据库中。

现有技术中是通过binlog解析技术，识别出用户对数据库执行DDL操作，并与原始(第一DDL快照)表结构形成对比，跟踪用户发起的SQL变更与原始表结构异同用于数据库健康监测等场景；现有技术不能快速计算出当前的表结构信息，对历史数据进行回溯或同步数据存在大量时间延迟时。

发明内容

本发明针对现有技术中是通过binlog解析技术，识别出用户对数据库执行DDL操作，并与原始(第一DDL快照)表结构形成对比，跟踪用户发起的SQL变更与原始表结构异同用于数据库健康监测等场景；现有技术不能快速计算出当前的表结构信息，对历史数据进行回溯或同步数据存在大量时间延迟时缺点，提供了一种还原历史表结构的方法和系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种还原历史表结构的方法，应用于数据同步系统中，其方法包括；

记录基准数据库表结构信息，获取数据库中所有表结构的信息，所述所有表结构的信息为所述基准数据库表结构信息；

记录所有数据库表变更操作信息；

还原任意时刻点数据库表结构信息，依据所述基准数据库表结构信息和所述数据库表变更操作信息还原任意时刻点数据库表结构信息。

通过本发明的方法，能够在任意时刻，将该时刻前的所有表变更历史操作DDL(SQL)与数据表结构信息进行应用(apply)，还原该指定时刻的完整表结构信息

作为优选，所述数据库表变更操作信息包括对数据库表进行变更的操作语句和操作处于数据库日志中的位点pos。