[发明专利]一种基于消息推送模式的跨地域数据同步方法

说明书

本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。

技术领域

本发明属于海量数据管理领域，涉及一种基于消息推送模式的跨地域数据同步管理方法。

背景技术

随着商业活动越来越依赖于网络，越来越多的企业在寻找一种更强大的数据中心架构，这种高可用的结构能够减少甚至消除正常和非正常的停机对业务可用性造成的影响，即无论是否有网络的中断或服务器的停机维护，甚至是异常宕机，关键任务应用系统都能够不间断地创造产值并提高公司的业务持续性底线。建立多个数据中心来实现业务的容灾成为必然的选择。用户建立多个数据中心来承载业务系统的主要目的是为了实现应用的高可用性，因此根据数据中心之间的关系进行跨地域的数据同步就成为一个重要的实现环节。

随着数据量的爆炸式增长，数据存储的压力越来越明显，因信息数据丢失所造成的损失也越来越大，关注也越来越多。相应的，不同地域的数据中心一般需要专用网络或互联网进行数据的传输，在当前的网络背景下，往往是多个业务共享一条网络，网络链路的负载情况是不可预期的。加之上层业务系统一般都是7×24小时运行的，数据的产生是实时的，并且数量和单个文件的大小通常都比较大。如何保证在海量数据在不同的跨地域的数据中心之间进行同步，保证全局数据的一致性，数据传输的实时性，同时将因为数据同步导致的系统压力降低到最小，这就需要提供一种可以保证数据传输效率的数据同步管理方法。

发明内容

本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对海量数据跨地域同步与恢复，确保数据更新、删除后全局的数据一致性，增强系统的数据安全性，保证系统的稳定性，有效降低系统的维护成本。

本发明的基于消息推送模式的跨地域数据同步方法，实现方案包括如下方面：

第一方面：在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；

所述的消息组件包括发送消息模块和接收消息模块，发送消息模块根据业务场景将消息发送到指定的数据中心，接收消息模块仅监听本地的消息；消息采用生产者-消费者模型进行管理。

第二方面：在数据中心设置异地配置策略；

所述的异地配置策略是指针对不同的数据中心，设置需要同步的数据中心或数据中心的组合；每个数据中心，根据自身的异地配置策略，构造消息发送到需要同步的数据中心。

第三方面：底层传输采用HTTP(Hyper Text Transfer Protocol)协议和自定义序列化反序列化框架；

在底层数据传输前，使用自定义的序列化和反序列化组件对待传输的数据进行序列化操作，形成二进制数组；将二进制数组使用HTTP协议进行网络传输；在接收端使用相同的序列化和反序列化组件对待传输的数据进行反序列化操作，以获取传输的数据内容。

第四方面：实现数据的同步、恢复或移除；