[发明专利]数据同步处理方法及系统

说明书

技术领域

本发明涉及数据同步技术领域；特别涉及一种数据同步处理方法及系统。

背景技术

微博是一种典型的UGC（User Generated Content，用户原创内容）业务，数据的产生和用户的行为有很密切的关系。当底层存储服务器故障或因为运维不可写入时，用户会有很高的概率感知到后台系统的故障。

为了减少底层业务故障对用户的直观影响，常见方法是采用一些柔性策略，例如在故障时只返回部分可用的数据，或使用某些副本上的数据做读取。在这种场景下，往往受影响的数据是不可写入的，此时的用户写操作将全部失败。为了降低机器故障等因素对用户产生的影响，需要一种快速的数据恢复和运维手段。

现有技术中，重做流水（redo）是一种后台服务常见的数据恢复方式，业务通过先将写动作的流水记录到本地或远程，当机器故障时可以通过将流水中的写动作重放，来恢复数据。

重做流水需要按原来的写入顺序（Seq）重放，这是为了保证写动作的顺序性。但从Seq=0开始从头恢复，一般需要消耗大量时间（相当于将所有写动作从头写一遍）。所以配合流水重做，一般还会配合数据快照（Snapshot）技术，将内存数据的快照导出到磁盘，并且记录导出时刻的顺序（Seq）；当恢复数据前先将快照加载到内存，此时重做流水就可以从快照点的顺序（Seq）继续执行，从而节省从头重做流水（redo）的时间。

在传统方案中，当主机故障或进行数据迁移时，需要先取得当天或者前一天的数据快照，然后获取主机上的流水文件（或获取远程流水）。复制流水前还需要对主机禁写，这样是保证迁移过程中数据的一致性，如果在旧的机器上进行了写入但未复制该流水到新的主机，将导致这一部分数据的丢失。所以一般的，在数据恢复过程时，需要按照复制快照、主机禁写、复制流水、恢复快照、流水重做这样的步骤进行操作。

由于传统方案中需要进行繁琐的重做流水操作，并且需要对主机进行较长时间的禁写操作，对外不可写的时间较长，用户对机器故障等运维操作的感知程度较为明显。

发明内容

本发明实施例提供了一种数据同步处理方法及系统，避免传统方法中繁琐的重做流水操作，并且很大程度缩短对外不可写的时间，从而减少用户对数据迁移或机器故障等运维操作的感知程度。所述技术方案如下：

一种数据同步处理方法，包括：

提供对数据块配置有主标志和可写标志的第一服务器；

提供第二服务器，并将该数据块的快照在所述第二服务器上导入；

对所述第二服务器上的该数据块配置可同步标志；

由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；

在要从所述第一服务器上迁出该数据块时，移除所述第一服务器上该数据块的可写标志；

由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；

在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，以及对所述第二服务器上的该数据块配置主标志和可写标志。

一种数据同步处理方法，包括：

提供对数据块配置有可同步标志的第一服务器；

提供对该数据块配置有主标志和可写标志的第二服务器；

由同步组件将所述第二服务器上该数据块的写入数据同步至所述第一服务器上；

若所述第二服务器出现故障，则移除所述第二服务器上该数据块的主标志和移除所述第一服务器上该数据块的可同步标志，以及对所述第一服务器上的该数据块配置主标志和可写标志；

在所述第二服务器的故障恢复后，将该数据块的快照在所述第二服务器上导入；

对所述第二服务器上的该数据块配置可同步标志；

由同步组件将所述第一服务器上该数据块的写入数据同步至所述第二服务器上；

在要恢复所述第二服务器针对该数据块的主机地位时，移除所述第一服务器上该数据块的可写标志；

由同步组件将所述第一服务器上该数据块的最新写入数据同步至所述第二服务器上；

在所述第二服务器与所述第一服务器上该数据块的数据完全同步后，移除所述第一服务器上该数据块的主标志和移除所述第二服务器上该数据块的可同步标志，对所述第二服务器上的该数据块配置主标志和可写标志以及对所述第一服务器上的该数据块配置可同步标志。

一种数据同步处理系统，包括：

第一服务器；

第二服务器；