[发明专利]一种基于Ceph分布式存储的异地备份恢复方法

说明书

本发明公开了一种基于Ceph分布式存储的异地备份恢复方法，步骤包括：将rbd块存储对象信息作为元数据基础版本；将rbd块存储对象进行分片生成数据块；判断数据块是否是稀疏块；计算稀疏块和数据块的校验码，相同校验码的数据块标志为稀疏块；将数据块的ID序号记录到本地数据库的元数据基础版本中；进行二次备份后得到稀疏块和数据块，对二次备份数据块与第一次备份的数据块进行比较，若两者的校验码相同，则将数据块标志为重复块后进行过滤；若不相同，则将数据块存放至异地数据后端；数据恢复：获取元数据更新版本的数据块，并写入rbd块存储对象。本发明实现数据全量备份和增量备份，在发生存储系统损坏情况下，通过导入备份数据，完成数据修复工作。

技术领域

本发明涉及Ceph分布式存储技术领域，特别涉及一种基于Ceph分布式存储的异地备份恢复方法。

背景技术

当今社会，数据信息发展迅速，每天产生海量的数据，需要日益增大的计算机网络，同时也要求网络能可靠、高速、稳定的运行。对于CEPH分布式存储系统，虽然其本身基于副本或者纠删码的策略，以及大的集群通过修改CRUSH规则，可以提升其数据的安全性；但是，在同一数据中心，还是无法避免地震、火灾、光纤中断等自然灾难和人为事故的影响。一旦这台服务器因为外部或内部的因素影响出现了宕机的故障，所提供的服务也会随之中断，影响正常工作，并可能影响关键性数据，造成损失巨大。

为了避免上述提到的服务器宕机造成的损失，CEPH的备份工作也是至关重要的一环。而对于CEPH分布式存储来说，大量的数据对备份一个很沉重的任务。所以快速，高效实现备份和恢复是技术的关键。

现有的Ceph分布式异地备份方式，一般工作流程为：在本端的ceph上，写入数据，将数据写入块存储日记以及写入块存储；在对端的ceph上，rbd-mirror同步块存储日志并将数据写入对端块存储。该现有技术存在的缺点包括：同一份数据需要客户端要写两次，IO写入路径过长；rbd-mirror对ceph的性能损耗太大；备份过程不可控，增加运维的难度；rbd块存储数据文件或者快照文件非压缩数据，需要消耗传输资源；大量的rbd块存储快照文件难以管理。

发明内容

本发明要解决的技术问题在于，提供一种基于Ceph分布式存储的异地备份恢复方法，可以实现数据全量备份和增量备份，并且在发生存储系统损坏的极端情况下，可以通过导入备份数据，完成数据修复工作。

为解决上述技术问题，本发明提供如下技术方案：一种基于Ceph分布式存储的异地备份恢复方法，包括以下步骤：

S1、对rbd块存储对象创建一个以auto+时序命名的快照，用于记录rbd数据块的ID序号，其中，每一个rbd数据块均具有唯一的ID序号；在元数据库中添加rbd块存储对象信息，rbd块存储对象信息具有唯一版本号，将第一次元数据库记录的rbd块存储对象信息作为元数据基础版本，此后的每一次记录作为元数据更新版本；

S2、将rbd块存储对象进行分片生成数据块，以auto+时序快照的最后数据位进行数据块校验，并输出数据块的偏移标志记录列表；

S3、根据偏移标志记录列表，判断数据块是否是稀疏块，具体为：如果数据块偏移位是0和偏移长度是0，或者块不存在，则标志为稀疏块；如果数据块偏移位非0、偏移长度非0以及块存在的，则标志为数据块；

S4、计算稀疏块和数据块的校验码，并对两者的校验码进行对比，判断校验码是否相同，如果存在相同校验码的数据块，则此数据块标志为稀疏块；

S5、过滤稀疏块，并将数据块以校验码标识为名存放至异地数据后端；将数据块的ID序号信息按顺序记录到本地数据库的元数据基础版本中；将稀疏块的ID序号信息按顺序记录到本地数据库的元数据基础版本中，元数据基础版本标注稀疏块的区别信息；

第一次数据备份完成。