[发明专利]数据冗余实现方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据冗余实现方法及装置。

背景技术

在分布式文件系统中，大规模地使用了外设存储和本地存储设备。如果在存储系统中不采取额外的数据冗余方案，每增加一个节点都会导致整个系统安全性能的下降。随着容量的扩展，系统变得越来越不安全，以致于几乎不可用。为了保证数据和系统的安全性，必须采用数据冗余方案对数据进行保护，保证在一定数量的节点发生故障丢失数据之后，通过冗余数据来恢复故障节点，确保数据安全。在信息时代的今天，大量数据的存储使得存储空间成为必要的资源。目前的分布式文件系统大多采用的是完全副本方式的冗余，该方式只需要有一个副本安全就可以提供服务，但其有一个不足就是存储空间利用率较低。现有的数据冗余技术无法提供更高的存储空间利用率。因此，需要一种新的分布式文件系统数据冗余策略，能够根据存储环境的需求和实际条件，保证数据的可靠性和提高存储空间的利用率。

针对相关技术中上述至少之一的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据冗余实现方法及装置，以至少解决相关技术中无法提供更高的存储空间利用率的问题。

根据本发明的一个方面，提供了一种数据冗余实现方法，其包括：获取待存储数据的存储策略标识；采用与上述存储策略标识相应的存储方式存储上述待存储数据，其中，上述存储策略标识用于指示采用以下存储方式的至少之一：副本冗余处理方式、纠删编解码处理方式。

优选地，采用纠删编解码处理的存储方式存储上述待存储数据包括：从元数据服务器获取对上述待存储数据进行纠删码EC编码的编码比例信息，其中，上述编码比例信息包括：将上述待存储数据的每一页数据划分的数据块的数量N、每一页数据块编码后的冗余数据块的数量M，上述N和上述M为自然数；根据上述编码比例信息和上述待存储数据的大小将上述待存储数据的每一页数据划分成上述N个数据块，并以上述N个数据块为一组进行EC编码，并每一组生成上述M个冗余数据块；在对一页中所有的数据块编码完成的情况下，将上述一页的编码后的数据块存储到数据库中。

优选地，将上述一页的编码后的数据块存储到数据库中包括：向上述数据库发送申请上述N加上述M个存储节点的请求消息；接收上述请求消息的回复消息，其中，上述回复消息包括：上述N加上述M个存储节点的节点信息、上述N加上述M个存储节点的位置信息；根据上述节点信息和上述位置信息将上述每一页数据块编码后的上述N加上述M个数据块分别存储到申请到的上述N加上述M个存储节点中。

优选地，根据上述节点信息和上述位置信息将上述每一页数据块编码后的上述N加上述 M个数据块分别存储到申请到的上述N加上述M个存储节点中包括：检测到每一页编码后的数据块中有大于上述M个数据块存储失败的情况下，发送存储失败的告警或通知。

优选地，根据上述节点信息和上述位置信息将上述每一页数据块编码后的上述N加上述 M个数据块分别存储到申请到的上述N加上述M个存储节点中包括：检测到每一页编码后的数据块中有小于等于上述M个数据块存储失败的情况下，将存储失败的数据块重新存储到上述存储失败数据块对应的存储节点中，或者将存储失败的数据块重新存储到新申请的存储节点中。

优选地，在采用与上述存储策略标识相应的存储方式存储上述待存储数据之后，上述数据冗余实现方法还包括：获取待读取数据的读取信息，其中，上述读取信息包括：上述待读取数据的存储策略标识；根据上述待读取数据的存储策略标识采用相应的读取方式读取上述待读取数据，其中，上述待读取数据的存储策略标识用于指示上述待读取数据的存储方式采用以下至少之一：副本冗余处理方式、纠删编解码处理方式。

优选地，根据上述待读取数据的存储策略标识采用相应的读取方式读取上述待读取数据包括：在上述待读取数据的存储方式采用纠删编解码处理方式的情况下，获取存储上述待读取数据的每一页编码后的N加M个数据块对应的存储信息，其中，上述存储信息包括：上述N加上述M个存储节点的存储节点信息、上述N加上述M个存储节点的位置信息，上述N和上述M为自然数；根据上述存储信息从上述N加上述M个存储节点中读取上述每一页编码后的上述N加上述M个数据块；从读取的上述N加上述M个数据块中按照顺序选择上述N个数据块进行EC解码，恢复得到上述每一页的数据。