[发明专利]数据同步方法及系统

说明书

本发明实施例公开了一种数据同步方法及系统，所述数据同步方法包括：将外部的更新数据写入第一数据存储系统中；将该写入操作进行记录并生成二进制日志；将该二进制日志分别写入缓存池和磁盘的二进制日志文件中；在将该更新数据进行同步时，从缓存池中查找该更新数据所对应的二进制日志，并将该二进制日志发送给第二数据存储系统进行数据同步。本发明实施例提出了一种基于缓存池和二进制日志文件的异步传送的同步策略，将数据存储系统与数据同步系统分离，数据同步系统负责将各个数据拷贝根据二进制日志更新到最新的状态，在该模式下，系统服务性能没有丝毫降低的同时，系统的整体复杂度、耦合性、带宽成本都大幅降低。

技术领域

本发明涉及数据存储与传输技术领域，特别涉及一种数据同步方法及系统。

背景技术

UGC(User Generated Content，用户原创内容)是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。社区网络、视频分享和博客等都是UGC的主要应用形式。随着全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

为了安全运营，系统设计时会引入容灾方案，容灾方案要求系统至少有两份可用的完整数据拷贝，各个数据拷贝在部署上相互独立，并且都能提供全量的实时服务，当其中一个数据拷贝出现异常或者灾难从而导致该数据拷贝无法提供正常的服务时，可以把请求切换到其他可用的数据点，以提供不间断的实时服务，如何使各个数据拷贝之间的数据能够保持一致性，是容灾方案面临的一个难题，如果能有一种简单、高效、低成本的容灾模型，将为该领域带来意义深远的变革。

现有技术中，数据存储系统负责数据的存储，提供读写服务，同时提供数据的同步服务。用户的一个写操作到达服务进程后，服务进程首先会查询系统一共有多少个可用数据拷贝，假设有可用的数据拷贝数为N，那么服务进程会把这个写操作复制成N份，分别对每一个数据拷贝发送这个写操作，从而使每个数据拷贝都能将数据更新到最新状态。

(1)耦合性高。数据存储系统与数据同步系统有依赖关系。首先，数据的存储依赖于数据的同步是否成功，如果某个写操作在主写点成功了，但是另外一个数据拷贝更新失败了，那么所有数据拷贝的这个写操作都认为是失败的；

(2)设计复杂。两个系统同等重要，为了保证对外的正常服务，某一个系统出现异常时都会影响另一个系统的正常服务，这种设计直接导致运维成本增加；

(3)搭建新数据拷贝困难。当需要搭建一个新数据拷贝的时候，需要导入原先的历史数据，同时还需要系统停写支持；

(4)数据拷贝越多性能越差。当可用的数据拷贝越多时，某一个数据拷贝更新失败会导致更多的写操作被判为无效，致使系统性能下降。

发明内容

本发明实施例提供了一种数据同步方法及系统，以降低系统的整体复杂度、耦合性，为用户提供高可靠性、可用性的数据同步服务。所述技术方案如下：

一种数据同步方法，包括：

将外部的更新数据写入第一数据存储系统中；

将该写入操作进行记录并生成二进制日志；

将该二进制日志分别写入缓存池和磁盘的二进制日志文件中，所述二进制日志记录了所述写操作的写入时间、写操作序号以及写操作内容；

在将该更新数据进行同步时，从缓存池中查找该更新数据所对应的二进制日志，并将该二进制日志发送给第二数据存储系统进行数据同步。

一种数据同步系统，包括：

第一写入模块，用于将外部的更新数据写入第一数据存储系统中；

生成模块，用于将该写入操作进行记录并生成二进制日志，所述二进制日志记录了所述写操作的写入时间、写操作序号以及写操作内容；