[发明专利]一种基于时间戳且支持删除操作的增量数据捕获方法

说明书

技术领域

本发明涉及一种数据库机场领域，尤其涉及一种基于时间戳且支持删除操作的增量数据捕获方法。

背景技术

在数据集成领域，为提升数据处理效率，增量数据捕获已成为其中不可缺少的关键技术。目前业界比较常用的增量捕获方式主要有基于时间戳的方式、基于数据库触发器的方式、基于数据库日志的方式、快照表比对方式。其中，时间戳方式，因对源系统的业务处理性能影响较小、捕获性能较好、实现成本小，受到业界的推崇。

但是，由于传统的时间戳方式无法捕获被物理删除的数据，导致这种技术无法推广使用。

发明内容

本发明的目的是提供一种基于时间戳且支持删除操作的增量数据捕获方法。

本发明的目的是按以下方式实现的，包括1）配置基于时间戳的增量数据捕获规则；2）按照增量捕获规则捕获增量数据；其中：

1）配置基于时间戳的增量数据捕获规则包括以下步骤：

（1）在源数据表中配置“创建时间戳”与“最后修改时间戳”字段；

（2）配置源数据表对应的删除记录表；

（3）配置增量捕获规则，包括增量捕获的结构、时间戳标识以及删除记录表配置；

2）按照增量捕获规则捕获增量数据，为实现基于时间戳的增量捕获，包括以下步骤：

（1）比较源数据表中的创建时间戳字段的值与上次捕获时间，创建时间戳大于上次捕获时间的数据即为增加Insert操作的数据；

（2） 比较删除记录表中的删除时间戳字段的值与上次捕获时间，删除时间戳大于上次捕获时间的数据即为删除Delete操作的数据；

（3） 比较源数据表中的最后修改时间戳字段的值与上次捕获时间，最后修改时间戳大于上次捕获时间的数据即为修改（Update）操作的数据。

本发明的优异效果：是通过配置删除记录表的方式，支持了被物理删除数据的增量捕获。

附图说明

图1是删除记录表的数据结构的示意图；

图2是源表与删除记录表的配置关系的数据表结构的示意图。

具体实施方式

    参照说明书附图对本发明的一种基于时间戳且支持删除操作的增量数据捕获方法作以下详细地说明。

为了解决上述问题，本发明公开了一种基于时间戳且支持删除操作的增量数据捕获方法，其特征在于包括以下三个步骤：

S10:配置基于时间戳的增量数据捕获规则；

S11:按照增量捕获规则捕获增量数据。

在步骤S10中，配置基于时间戳的增量数据捕获规则。进一步说明，包括以下步骤： 

S100:在源数据表中配置“创建时间戳”与“最后修改时间戳”字段，并且要求字段类型是时间类型，精度精确到毫秒；

S101:配置源数据表对应的删除记录表，允许多个源数据表共用一个删除记录表，删除记录表中至少要记录被删除数据的主键值以及删除时间，同时要求字段类型是时间类型，精度精确到毫秒；当对数据进行物理删除时，被删除的数据要记录到删除记录表中。

S102:配置增量捕获规则，包括增量捕获的结构、时间戳标识以及删除记录表配置。

在步骤S11中，按照增量捕获规则捕获增量数据，它包括以下的步骤：

S110: 捕获增加（Insert）操作类型的数据。进一步说，比较源数据表中的创建时间戳字段的值与上次捕获时间，创建时间戳大于上次捕获时间的数据即为增加（Insert）操作的数据；

S111: 捕获删除（Delete）操作类型的数据。进一步说，比较删除记录表中的删除时间戳字段的值与上次捕获时间，删除时间戳大于上次捕获时间的数据即为删除（Delete）操作的数据；

S112: 捕获修改（Update）操作类型的数据。进一步说，比较源数据表中的最后修改时间戳字段的值与上次捕获时间，最后修改时间戳大于上次捕获时间的数据即为修改（Update）操作的数据。

实施例

为使本发明的意图、特征和优点更通俗易懂，下面将结合附图和具体实施方式对本发明作进一步详细的说明。

实施实例说明：获取某HR系统中HREmployee数据表中的增量数据，其中HREmployee的主键字段是ID。表结构如下所示：