[发明专利]一种横向扩展存储系统的构建方法

说明书

技术领域

本发明涉及一种横向扩展存储系统的构建方法，适用于大数据存储，属于大数据云存储技术领域。

背景技术

在现代存储领域，为了提高存储数据的可靠性和改善存储系统的输入、输出性能，人们设计了多种数据存储方案，这些数据存储方案通常是各种类型的独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)。通过使用特定的硬件或软件，RAID把多个物理存储设备如磁盘，联合起来，形成一个统一的逻辑存储设备。但传统的数据存储系统，均是基于单节点，通过增加CPU能力和磁盘个数进行纵向扩展。当扩展到一定程度后，系统的性能达到峰值，再扩展则会导致性能下降。

下面对RAID中常用的技术术语进行解释：

条带：又称为Stripe；是磁盘阵列的不同磁盘上的位置相关的分块的集合，是组织不同磁盘上条块的单位。

条带化：又称为Striping；是指把一段连续数据分割成相同大小的数据块，把每段数据分别写入到磁盘阵列的不同磁盘上的方法。

磁盘镜像是指复制源数据到一个或更多的磁盘上，

节点：传统概念中的一个存储系统，为本文中提到的一个节点。

分布式存储：将原来统一存放在某一个节点上的数据，分散到不同的节点上，在增加容量的同时，也增加了计算资源，不存在理论上的计算瓶颈。

XOR运算：异或运算。

比较常用的RAID有RAID0、RAID1、RAID5、RAID6、RAID10、RAID50和RAID60等。其中RAID0不具有冗余能力，RAID1只是对磁盘做了镜像。其它5种阵列分别有多个磁盘组成，它们以条带的方式向阵列中的磁盘写数据，奇偶校验数据 存放在阵列中的各个磁盘上。传统的阵列在数据量较小的情况得到了广泛应用。

纵向扩展：传统存储通过对单系统节点内进行处理器性能增强、内存空间增大、磁盘容量空间增加进行存储系统扩展。

横向扩展：通过增加节点来达到增强处理器性能、内存空间和磁盘容量达到存储系统扩展的目的。

然而，在数据量大增的今天，传统的阵列出现了几种情况下无法满足当前云存储对存储系统容量和吞吐效率的需求：

1、大容量的集中存储对传统存储系统带来了挑战；

2、大量的上百GB的大文件同时往一个传统存储系统中写入，此时的传统存储的前端接口已经无法满足这样的需求；

3、在通常的分布式或者集群文件系统中，主要是基于在节点中的本地文件系统之上进行了分布式或者集群式的处理，基于文件级的锁机制，这种机制在机架或者机房掉电时，带来的是数据丢失的灾难。而当前基于节点上使用本地文件系统来构建的分布式存储系统无法解决此问题，在数据恢复时，会带来大量的网络、处理器和内存资源的消耗，且有可能导致业务停止运行。

发明内容

本发明的目的是为解决传统纵向扩展的存储系统因为只能配置固定的CPU、内存、磁盘容量和固定的前后端接口带来的带宽和IOPS存在扩展极限的问题，提出一种基于横向扩展存储系统的构建方法。

本发明的思想是抛弃传统的纵向扩展，改为以横向扩展的方式来增加存储空间和计算资源，从而进行存储系统构建。

本发明的目的是通过以下技术方案实现的：

一种基于横向扩展存储系统的构建方法，包括以下步骤：

步骤一：按节点对存储系统中所有的磁盘,即块设备进行划分，使每个块设备归入一个节点；

磁盘包括了本地硬盘和网络映射的磁盘，本地磁盘如SATA HDD、SAS HDD或者SSD，本地软、硬RAID和逻辑卷等；网络映射的磁盘如通过iSCSI协议、 FC协议或者iSER协议等映射的磁盘阵列的LUN；

步骤二：将步骤一中所有节点的块设备按照一定大小进行条带切分，并把他们按照一定的算法整合为一个统一的存储池；

所述算法可以采用网络RAID算法，如RAID0，RAID1，RAID5或者RAID6等，也可以采用纠删码技术，灵活对磁盘空间的利用率进行控制，N份数据，M份冗余数据；

步骤三：将步骤二中的存储池映射给存储系统的客户端；

通过存储网络协议将存储池映射给客户端进行使用，存储协议如iSCSI、FC和iSER等；也可以将存储池格式化为文件系统再通过NAS相关协议，如CIFS和NFS等进行导出；也可通过API对存储池进行管理和读写，方便第三方应用直接写入，避免协议的转换，提升写入效率；

步骤四：客户端向存储池写入和从存储池读出数据；