[发明专利]一种分布式存储数据的备份方法及其装置在审
申请号: | 202011095800.8 | 申请日: | 2020-10-14 |
公开(公告)号: | CN111930556A | 公开(公告)日: | 2020-11-13 |
发明(设计)人: | 曾星;史伟;闵宇 | 申请(专利权)人: | 广东睿江云计算股份有限公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10;G06F11/14 |
代理公司: | 佛山市恒瑞知识产权代理事务所(普通合伙) 44688 | 代理人: | 史亮亮 |
地址: | 528000 广东省佛山市禅*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储 数据 备份 方法 及其 装置 | ||
1.一种分布式存储数据的备份方法,其特征在于,包括以下步骤:
步骤S1、第一对象存储集群创建若干个数据存储桶;
步骤S2、对每一个数据存储桶创建若干个实例,每个实例均分配一个id且各个id均不一致;
步骤S3、第一对象存储集群对外接收数据,将数据均分成若干块对象数据块并将对象数据块存储于数据存储桶的实例内,每个实例包括若干对象数据块;
步骤S4、对象存储备份单元读取每一个数据存储桶内的实例,并对实例的id作为标记进行记录形成第一实例列表;对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元,对象存储备份单元对每个实例的全部对象数据块进行MD5校验,对实例中各个对象数据块的MD5值进行记录且形成一个第一MD5校验结果,其中,每个实例均形成一个第一MD5校验结果;
步骤S5、第二对象存储集群创建若干个数据备份桶,其中,数据备份桶与第一对象存储集群的数据存储桶数量一致,且数据备份桶与数据存储桶一一对应,数据备份桶内实例与数据存储桶内实例的id相同且一一对应;
步骤S6、对象存储备份单元将第一对象存储集群中数据存储桶内每个实例的全部对象数据块分别存进去对应的数据备份桶内,数据备份桶内的对象数据块与其对应的数据存储桶内的对象数据块保持一致;
步骤S7、重复步骤S2和步骤S3;
步骤S8、经过一定时间段后,对象存储备份单元读取每一个数据存储桶内的实例,并对实例的id作为标记进行记录形成第二实例列表;对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元,对象存储备份单元对每个实例的全部对象数据块进行MD5校验,对实例中各个对象数据块的MD5值进行记录且形成一个第二MD5校验结果,其中,每个实例均形成一个第二MD5校验结果;
步骤S9、对第一实例列表和第二实例列表进行判断,判断第二实例列表中是否有与第一实例列表不同id的实例;
若有,将不同id的实例及实例内的对象数据块发送至第二对象存储集群的数据备份桶中进行备份,其中,实例所在第一对象存储集群的数据存储桶与数据备份桶相对应;
遍历第二实例列表中每一个与第一实例列表相同id的实例,判断相同id的实例中第二MD5校验结果和第一MD5校验结果是否存在不同MD5值的对象数据块;若存在不同MD5值的对象数据块,则将不同MD5值的对象数据块发送至第二对象存储集群中对应数据备份桶内的实例中,若不存在不同MD5值的对象数据块则不作处理。
2.根据权利要求1所述的一种分布式存储数据的备份方法,其特征在于,所述步骤S1前还包括步骤S0、设置一个对象存储备份单元,对象存储备份单元连接第一对象存储集群和第二对象存储集群。
3.根据权利要求1所述的一种分布式存储数据的备份方法,其特征在于,所述步骤S4中,对象存储备份单元以队列方式对每个实例的全部对象数据块进行MD5校验;
所述S8中,对象存储备份单元以队列方式对每个实例的全部对象数据块进行MD5校验。
4.根据权利要求1所述的一种分布式存储数据的备份方法,其特征在于,所述步骤S4中,对实例中各个对象数据块的MD5值进行记录且形成一个第一MD5校验结果,并将第一MD5校验结果保存到对象存储备份单元的k-v数据库中;
所述S8中,对实例中各个对象数据块的MD5值进行记录且形成一个第二MD5校验结果,并将第二MD5校验结果保存到对象存储备份单元的k-v数据库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东睿江云计算股份有限公司,未经广东睿江云计算股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011095800.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置