[发明专利]实时处理数据库变化的数据同步系统、方法及介质

说明书

本发明提供了一种实时处理数据库变化的数据同步系统、方法及介质，包括：数据变化检测模块：实时检测数据库的增删改数据的变化；数据处理辨别模块：根据检测到的变化的数据进行逻辑处理和辨别；数仓同步变更模块：将处理辨别后的数据即时同步到数仓中。本发明通过采用数据消息容器中间件以及智能数据处理系统的整合结构，解决了传统数据同步的即时性，时效性问题，缩短了数据同步的时间和准确性，达到了业务数据的变更可以在毫秒级即可将数据同步到数据仓库，可以为实时报表提供更加优秀的解决方案。

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种实时处理数据库变化的数据同步系统、方法及介质。

背景技术

通常的CADS系统对于数据量非常大和数据流速非常快的数据，需要非常精确的进行时实解析和处理以及存储，而常规技术无法解决这一技术问题。

因此，本发明使用了异步IO的方式通过sql的技术点突破了大数据量的时实数据处理。

专利文献CN103929450B(申请号：201310012928.7)公开了一种用于终端设备和同步服务器的数据同步方法及数据同步装置。用于同步服务器的数据同步方法包括：保持所述同步服务器与至少一个云端服务器之间的TCP/IP长连接；利用所述TCP/IP长连接，保持所述同步服务器与所述至少一个云端服务器之间的数据同步；从终端设备接收同步请求；在所述终端设备和所述同步服务器之间进行数据同步。用于终端设备的数据同步方法包括：通过在所述终端设备上部署的第一文件系统接口向同步服务器发送数据同步请求，所述数据同步请求用于指示进行所述终端设备与同步服务器的数据同步，所述同步服务器与至少一个云端服务器之间保持TCP/IP长连接；通过所述第一文件系统接口在所述终端设备和所述同步服务器之间进行数据同步。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种实时处理数据库变化的数据同步系统、方法及介质。

根据本发明提供的实时处理数据库变化的数据同步系统，包括：

数据变化检测模块：实时检测数据库的增删改数据的变化；

数据处理辨别模块：根据检测到的变化的数据进行逻辑处理和辨别；

数仓同步变更模块：将处理辨别后的数据即时同步到数仓中。

优选的，所述数据变化检测模块包括：

模块M1：安装数据库变化工具Maxwell，并配置相关数据库链接信息；

模块M2：将数据库变化封装后以JOSN格式实时写入到消息容器中。

优选的，所述数据处理辨别模块包括：

模块M3：实时抽取消息容器中的数据，并根据数据类型进行解析；

模块M4：解析后根据类型进行分类，并打上数据标签。

优选的，所述数仓同步变更模块包括：

模块M5：将打上标签的数据分别写入到不同的数仓的表中，并根据数据类型对数仓的表进行变更。

根据本发明提供的实时处理数据库变化的数据同步方法，包括：

数据变化检测步骤：实时检测数据库的增删改数据的变化；

数据处理辨别步骤：根据检测到的变化的数据进行逻辑处理和辨别；

数仓同步变更步骤：将处理辨别后的数据即时同步到数仓中。

优选的，所述数据变化检测步骤包括：

步骤1：安装数据库变化工具Maxwell，并配置相关数据库链接信息；

步骤2：将数据库变化封装后以JOSN格式实时写入到消息容器中。