[发明专利]一种实现实时数据同步的系统及方法

说明书

本发明公开了一种实现实时数据同步的系统及方法。本发明实现实时数据同步的系统，包括：实时数据收集模块，用于将采集的数据形成固定格式的日志数据；实时计算模块，用于提取日志数据中有用的字段并进行计算；实时同步模块，用于将实时计算模块的计算结果与关系型数据库中的历史数据同步或合并。本发明还公开了一种实现实时数据同步的方法，本发明对采集到的数据先进行实时分析计算，然后将分析后的数据再进行本地存储，本发明能够使数据在短时间内保持同步更新，解决了现有技术中数据同步更新速度慢的问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种实现实时数据同步的系统及方法。

背景技术

随着中国制造2025、工业4.0等概念的提出，制造业对自动化、智能化生产模式的需求日益增长，信息化技术与自动化技术作为智能制造的关键技术之一，应用于越来越多的生产制造和物流项目中。

然而大量的测量数据需要集成和存储，传统的基于关系型数据库数据的处理方法已经无法有效的存储和分析处理日益增长的各种业务数据。

工业监控数据要求采集速度和响应速度均是毫秒级的，而且数据频率高，数量大，如果用关系数据库进行存储，由于关系库本身设计的理念，导致它很难进行每秒几十万的数据的读写操作，而且由于数据采集是海量的监控数据，那么如果用传统数据库进行存储，将会占用大量的存储空间。

如公开号为CN108241679A的发明专利所公开的一种数据处理方法及装置，其中，该方法包括：在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中。

该发明采用关系数据库的传统模式进行数据的处理和存储，如今关系数据库传统处理数据的模式，已不能满足数据的读写速度。

因此，如何提高数据的读写速度，使数据在短时间内保持同步更新，成为本发明待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

针对现有技术存在的上述技术问题，本发明提供了一种实现实时数据同步的系统及方法，使工业监控数据采集速度和响应速度在可接受的范围内，并且占用的存储空间储量能够缩小到关系库的1/40。

为达到上述技术目的，本发明采取如下技术方案：

一种实现实时数据同步的系统，其包括：

实时数据收集模块，用于将采集的数据形成固定格式的日志数据；

实时计算模块，用于提取所述日志数据中有用的字段并进行计算；

实时同步模块，用于将所述实时计算模块的计算结果与关系型数据库中的历史数据同步或合并。

作为本发明的优选，所述关系型数据库包括：事实表与聚合表；所述关系型数据库用于按照预设的格式存储所述实时计算模块输出的数据。

作为本发明的优选，若将所述实时计算模块的计算结果保存至关系型数据库中的事实表，则将计算结果按照所述计算结果的维度信息插入至事实表中。

作为本发明的优选，所述系统还包括：查询模块，若将所述实时计算模块的计算结果保存至关系型数据库中的聚合表，则查询所述聚合表中是否存在对应维度下的历史计算结果。

作为本发明的优选，若所述聚合表中不存在对应维度下的历史计算结果，则将所述计算结果作为一条新的记录按照所述计算结果的维度信息插入所述聚合表中；