[发明专利]实时处理数据库变化的数据同步系统、方法及介质

权利要求书

1.一种实时处理数据库变化的数据同步系统，其特征在于，包括：

数据变化检测模块：实时检测数据库的增删改数据的变化；

数据处理辨别模块：根据检测到的变化的数据进行逻辑处理和辨别；

数仓同步变更模块：将处理辨别后的数据即时同步到数仓中。

2.根据权利要求1所述的实时处理数据库变化的数据同步系统，其特征在于，所述数据变化检测模块包括：

模块M1：安装数据库变化工具Maxwell，并配置相关数据库链接信息；

模块M2：将数据库变化封装后以JOSN格式实时写入到消息容器中。

3.根据权利要求2所述的实时处理数据库变化的数据同步系统，其特征在于，所述数据处理辨别模块包括：

模块M3：实时抽取消息容器中的数据，并根据数据类型进行解析；

模块M4：解析后根据类型进行分类，并打上数据标签。

4.根据权利要求3所述的实时处理数据库变化的数据同步系统，其特征在于，所述数仓同步变更模块包括：

模块M5：将打上标签的数据分别写入到不同的数仓的表中，并根据数据类型对数仓的表进行变更。

5.一种实时处理数据库变化的数据同步方法，其特征在于，包括：

数据变化检测步骤：实时检测数据库的增删改数据的变化；

数据处理辨别步骤：根据检测到的变化的数据进行逻辑处理和辨别；

数仓同步变更步骤：将处理辨别后的数据即时同步到数仓中。

6.根据权利要求5所述的实时处理数据库变化的数据同步方法，其特征在于，所述数据变化检测步骤包括：

步骤1：安装数据库变化工具Maxwell，并配置相关数据库链接信息；

步骤2：将数据库变化封装后以JOSN格式实时写入到消息容器中。

7.根据权利要求6所述的实时处理数据库变化的数据同步方法，其特征在于，所述数据处理辨别步骤包括：

步骤3：实时抽取消息容器中的数据，并根据数据类型进行解析；

步骤4：解析后根据类型进行分类，并打上数据标签。

8.根据权利要求7所述的实时处理数据库变化的数据同步方法，其特征在于，所述数仓同步变更步骤包括：

步骤5：将打上标签的数据分别写入到不同的数仓的表中，并根据数据类型对数仓的表进行变更。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的方法的步骤。