[发明专利]多数据源数据同步方法

说明书

本申请公开了一种多数据源数据同步方法，涉及数据处理技术领域，方法包括：通过主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，从日志服务器中的信息为监听器监听并归档的信息；在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在全球数据库中；在大区块满足第二预设条件时，将大区块存储至全球数据库，第二预设条件包括大区块经过第二预设数量的区域数据中心认证。多类型的数据区，保证了不同的应用可以根据自身的需求灵活选择不同类型的数据日志。

技术领域

本发明涉及多数据源数据同步方法，属于数据处理技术领域。

背景技术

传统的分布式数据收集一般直接将数据送入kafka之类的可存储消息队列，当数据量巨大时，消息队列阻塞现象非常严重。

发明内容

本发明的目的在于提供一种多数据源数据同步方法，用于解决现有技术中存在的问题。

为达到上述目的，本发明提供如下技术方案：

根据第一方面，本发明实施例提供了一种多数据源数据同步方法，所述方法应用于多数据源数据同步系统中，所述多数据源数据同步系统包括全球数据系统和设置在每个区域的区域数据系统，所述全球数据系统包括全球消息队列服务器、全球数据服务器和全球数据库，所述区域数据系统包括区域消息队列服务器、区域数据中心、主日志服务器、至少两个从日志服务器、数据服务服务器和中心数据库，所述方法包括：

通过所述主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，所述从日志服务器中的信息为监听器监听并归档的信息；

在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；所述第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在所述全球数据库中；

在大区块满足第二预设条件时，将所述大区块存储至所述全球数据库，所述第二预设条件包括所述大区块经过第二预设数量的区域数据中心认证。

可选的，所述方法还包括：

所述监听器监听数据表的变化，并将监听到的变化广播至区域消息队列服务器；

从日志服务器消费所述区域消息队列服务器中的消息，并按时间段归档在本地。

可选的，所述监听器以数据源产生时间为标准时间存储。

可选的，所述方法还包括：

在所述主日志服务器与所述从日志服务器断开时，从所述至少两个从日志服务器中选择目标日志服务器，并将选择的所述目标日志服务器确定为新的主日志服务器，并在数据不完整时，重新进行数据归档。

可选的，所述主日志服务器与所述从日志服务器通过心跳信息进行连接确认。

可选的，所述方法还包括：

在所述主日志服务器打包小区块之后，判断小区块中的数据的完整性；

在数据完整时，所述主日志服务器同步所述小区块至各个从日志服务器，所述从日志服务器接收到同步数据之后，更新本地存储的数据；且所述主日志服务器在所述全球消息队列服务器中广播所述小区块的区块标识。

可选的，所述方法还包括：在数据不完整时，重新从所述监听器中获取数据信息。

可选的，所述方法还包括：

所述区域数据中心消费其他区域数据中心的广播信息，比对自身对应的小区块的区块标识，若一致，则签名后在所述全球消息队列服务器中广播。