[发明专利]一种数据保护存储方法、装置及设备

说明书

本申请提供一种数据保护存储方法、装置及设备，该方法依据已确定的对待存储数据划分的数据块数量N和校验块数量M确定的存储节点数量K，确定出PN的数量，建立映射表，以将PN映射于K个存储节点对应的存储介质中，在存储数据时，利用待存储数据对应的桶名和对象名确定出目标PN，并依据目标PN与存储介质的映射关系，以对该待存储数据进行存储。可见，该方法存储待存储数据所需要的存储节点数量只要为N与M的比值向上取整后与1之和，便可支持任意M个存储介质故障而不影响对象数据读写，而这远远小于现有技术中所需存储节点数至少为N与M之和，可见，应用本实施例提供的技术方案能够减少存储节点数量，降低成本。

技术领域

本申请涉及存储领域，尤其涉及一种数据保护存储方法、装置及设备。

背景技术

随着海量非结构化数据的飞速增长，在满足能够从海量数据中快速定位到待读取对象以及保证对象数据写入容量均衡要求的情况下，在成本可控的基础上，现对数据冗余性提出更高要求，以应对分布式系统中存储节点突然失效或存储介质突然故障等情况。

为了使有限存储资源支持更高的冗余性，现有技术提供了一种数据保护存储方法，该方法将待存储数据切成N个数据块和M个校验块，将切割后的数据块和校验块存储在存储节点中，要求该存储节点的数量至少大于N与M之和。可见，虽然该方法能够支持任意M个存储介质故障而不影响对象数据读写，但该方法要求用于存储待存储数据的存储节点数量至少大于待存储数据切分的数据块数量N和校验块数量M之和。这就表明，将待存储数据切成的待存储数据越多，则对存储节点数目要求较高，相应地，成本也较高。

发明内容

有鉴于此，本申请提供一种数据保护存储方法、装置及设备，以减少存储节点数量。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种数据保护存储方法，所述方法包括：

依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；其中，所述K大于或等于第一设定值，所述第一设定值为N与M的比值向上取整后与1之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；

按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；

将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；

依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；

依据所述目标PN在映射表中与存储介质的映射关系，将所述N块数据块和所述M块校验块存储至所述目标PN对应的存储介质。

本申请的一个实施例中，所述P靠近2的幂次方且为第二设定值的整数倍，所述第一设定值为N和M之和；所述按照均匀分布存储数据的原则建立映射表，包括：

按照第一预设方式将P个PN映射在每一存储节点包含的各存储介质中，其中，所述第一预设方式为：将所述第二设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第二设定值的比值，且每一PSG包含所述第二设定值个定位条带PS，PS是所述第二设定值个PN进行排序的序列，各PS为首的PN均不同，同一组PSG中的PN分布在不同存储节点中或同一个存储节点的不同存储介质中。

本申请的一个实施例中，所述按照均匀分布存储数据的原则建立映射表，包括：

P个PN中的部分PN按照第一规则均匀地映射分布于K个存储节点的部分存储介质中；

P个PN中的余下部分PN按照第二规则均匀地映射分布于K个存储节点的余下部分存储介质中，第二规则为与第一规则不同的规则。