[发明专利]一种面向云操作系统的数据存储架构及其负载均衡方法

说明书

技术领域

本发明涉及云计算领域，尤其是一种面向云操作系统的数据存储架构及其负载均衡方法。

背景技术

云操作系统能对包括处理器、存储、网络在内的硬件资源进行统一管理。在当前的云操作系统应用部署中，数据存储主要有两种用途：(1)用户接口存储，即提供给用户所使用的存储；(2)系统所需存储，例如虚拟机镜像存储，当前，云操作系统的数据存储存在性能不高、扩展性不好、不稳定、安全性不够等问题。

发明内容

本发明解决的技术问题之一在于提供一种面向云操作系统的数据存储架构，可以解决元数据服务的可用性、可扩展性。

本发明解决的技术问题之二在于提供一种面向云操作系统的数据负载均衡方法，可以充分利用元数据服务器的计算资源。

本发明解决上述技术问题之一的技术方案是：

采用分布式存储架构将元数据和数据进行分离，使用专门的元数据服务器存储元数据和处理客户端对元数据的请求；

当客户端欲获取某文件数据时，将首先和元数据服务器通信，获取描述该文件数据的元数据，即获取数据在数据服务器集群的存储位置以及其他信息；然后客户端和数据服务器集群通信，获取其想要的数据。

所述的元数据服务系统架构采用了多台元数据服务器。

所述的元数据指描述数据及其环境的数据，特指描述文件信息或文件目录信息的数据，这些信息包括文件大小、存放位置等。

元数据存储介质为固态硬盘、高速缓存。

本发明解决上述技术问题之二的技术方案是：

以目录为操作的最小单位；对大目录，则进行目录划分，即将大目录划分为合适大小的目录；然后，采用哈希的方式来进行负载的均匀分配。

对热点数据，提供元数据副本机制，即根据文件或目录的流行度，设置相应数量的副本数。

本发明多元架构具有如下优点：(1)无单点故障，当部分元数据服务器失效时，其他元数据服务器会接管元数据服务，保证元数据服务的高可用性；(2)可扩展性好，存储规模需要不断扩展，可能扩展到PB甚至EB级存储量，当存储量扩充时，可相应增加元数据服务器数量，以适应元数据服务的速度要求。针对云操作系统数据存储的元数据服务应用场景，提出独特的在多个元数据服务器上进行负载均衡的方法，平摊负载，从而充分利用元数据服务器的计算资源。将元数据与数据进行分离的优点在于：(1)功能划分清楚，逻辑简单；让数据服务器专门存储数据和处理数据请求，而将存储和处理元数据的任务交给专门的服务器，各司其职，让处理逻辑变的简单清晰。(2)元数据服务占数据读写总量的30％到70％，而且元数据读写中绝大部分为小数据量随机读写，将占高比重的元数据服务与数据服务相分离，可以提高处理速度。

用固态硬盘和高速缓存的方式存储元数据虽然成本较传统SATA硬盘高，但是由于固态硬盘在读写数据时没有寻道时间和旋转时间，特别适合于进行频繁的小数据量的数据读写，而且，元数据的数据量不大，故在关键性能点采用适合应用场景的成本较高的固态硬盘是可取的。为进一步提高元数据读写速度，对热点较高的数据，采用高速缓存的方式进行缓存，从而进一步提高元数据服务的读取性能。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明元数据服务系统架构示意图；

图2是本发明多元数据服务器负载均衡示意图。

具体实施方式

如图1所示，本发明引入了多元数据服务器架构，分布式存储架构将元数据和数据进行分离，使用专门的元数据服务器来存储元数据和处理客户端对元数据的请求。当客户端欲获取某文件数据时，将首先和元数据服务器通信，获取描述该文件数据的元数据，即获取数据在数据服务器集群的存储位置以及其他信息；然后客户端和数据服务器集群通信，获取其想要的数据。针对占比高达30％到70％的元数据服务流量，提出引入多个元数据服务器来进行负载均衡，同时针对关键数据，采用固态硬盘和高速缓存的方式来存储，从而解决热点数据的输入输出速度。

元数据，指描述数据及其环境的数据；在本发明的数据存储背景下，特指描述文件信息或文件目录信息的数据，这些信息包括：文件大小、存放位置等。

多元数据服务器，是云操作系统数据存储元数据服务的核心，负责响应元数据服务请求，进行相应的元数据响应，返回文件的元数据信息。

针对关键数据，采用固态硬盘加高速缓存的方式进行存储，以提高热点数据的输入输出速度。

在元数据服务中，通常会有局部性要求，例如显示某一目录下所有文件信息的命令：ls，就要获取某一目录下的文件信息；同时，负载均衡一般要求能将负载通过适当的方式分摊到多台服务器上。为兼顾这两种要求，本发明以目录为操作的最小单位(图2)，但对大目录，还需要进行目录划分，即将大目录划分为合适大小的目录；然后，采用哈希的方式来进行负载的均匀分配，做到兼顾局部性的负载尽量分摊，其中，以目录为操作的最小单位可以保证同一目录下文件元数据的局部性，同时，哈希函数的引入可以打散对应不同目录的元数据分配，从而保证负载在多台元数据服务器上的均匀分配。同时，提供元数据副本机制，根据文件或目录的流行度，设置相应数量的副本数，以应对热点数据的突发请求。