[发明专利]一种网络分布式文件存储与读取方法

说明书

技术领域

本发明属于电子信息文件的编码组织与存储技术领域，特别是涉及电子信息文件在网络上分布式存储的数据容灾与文件读取技术。

背景技术

随着网络的飞速发展，用户在网络上存储或托管数据文件成为趋势。然而，网络覆盖范围宽广，任何地点一些无法预测的偶发性变故都可能导致网上存储的某些重要数据永久性丢失或损毁，如包括人为操作失误、设备元器件故障、地震、水灾、火灾、台风、乃至电子战争等，由此可能造成难以估量的损失。防止这种网络数据损毁的行为称为网络数据容灾；另外，由于文件数据资源在网络上分布的广域性和非均衡性，目前已有的网络分布式存储服务必然要面对文件资源定位的开销和文件下载传输路径的选择问题。

当前网络分布式文件存储主要是基于“数据备份——多机备份与热切换”这种数据冗余机制，其技术路线的核心是文件复制技术，例如异地镜像备份、设置不同地点的备份服务器等都是常用的方法，如谷歌存储系统的重要文件均有3个甚至多个副本。虽然文件复制技术具有存储操作简单、读取操作快速的优点，但文件复制技术路线的数据冗余高，用于“灾难备份”存在着以下弊端：

（1）网络存储系统的故障或灾难都是按照网络存储节点总数的百分比概率随机发生的，数据灾难并不会局限于某几台事前想定的设备上。而文件备份机制总是假定网络系统中有备份的服务器及其数据不会发生损毁，一旦这少数几台关键设备及其数据集中遭到损毁，这种策略将一筹莫展；

（2）当网络存储系统规模扩大，即网络存储节点总数增加时，随机发生故障灾难的节点数量也会按百分比增加，若主要采用文件复制技术来防范，显然在网络上将有大量的备份服务器在多数时间里至少要闲置一倍乃至多倍的存储空间，这将造成惊人的资源浪费，网络规模越大这种浪费越巨大；

（3）即便每个重要文件的副本限定在2～5份范围内并分别存放在不同的物理存储节点，随着网络存储节点的分布规模扩大，这2～5个副本可能分散在海量存储节点当中。这将凸显文件资源定位和文件下载路径选择的问题，同时将制约着大规模网络分布式文件存储的服务效率。

发明内容

针对现有技术存在的问题，本发明的主要目的在于提供一种低冗余度的网络分布式文件存储与读取方法。

为实现上述目的，本发明提供一种网络分布式文件存储方法的实施例，将文件存储到网络分布式存储系统中，该网络分布式文件存储方法包括如下步骤： 

步骤一、确定存储系统{N₁,N₂,...,N_n}的存储容灾参数指标[n, k, t, δ]，其中n为存储系统的存储节点数，t为存储系统的容灾能力指标，n, k, t, δ均为正整数，n, k, t, δ之间的关系满足不等式0≤δ<<k<n且t≤(n-k-δ)；

步骤二、根据存储容灾参数指标[n, k, t, δ]构造文件分块矩阵G_n×k和文件聚合矩阵H_n×(n-k)，文件分块矩阵G_n×k和文件聚合矩阵H_n×(n-k)中的元素取值于二进制符号{1,0}，并满足以下条件：G_n×k中有k个行构成单位矩阵，H_n×(n-k)列满秩，H_n×(n-k)中随机抽取t行是线性相关的概率<1/2^δ，G_n×k的每一个列向量与矩阵H_n×(n-k)的每一个列向量均为正交；

步骤三、按存储容灾参数指标[n, k, t, δ]将文件转化为二进制格式后等分为k个数据块，每个数据块表示为block(1), block(2), …, block(k)；