[发明专利]用于在分布式存储系统中分配存储空间的方法和装置

说明书

技术领域

本发明涉及通信网络中的存储技术，尤其涉及一种用于在分布式存储系统中分配存储空间的方法和装置。

背景技术

随着3G网络的大规模应用、智能手机的普及、移动多媒体和移动互联网业务的兴起，移动宽带（MBB）数据业务正面临着快速增长，这对网间流量、用户体验质量（QoE）等提出了新的挑战。

为了提高用户的QoE，降低网间流量和对服务器的冲击，在通信网络的若干节点中利用分布式存储系统是一种不错的选择。这种分布式存储系统的一个示例是分布式Cache（高速缓冲存储器）系统，该系统通过在边缘节点和/或骨干节点处部署Cache，可以将内容缓存到靠近用户的位置。

对于分布式Cache系统而言，Cache的读写效率和访问并发性对于性能提升的影响很大。如果能够根据数据的相关性，连续地分配数据的存储空间以保证数据在磁盘上连续存储，则对Cache的读写效率有比较可观的提升。

现有的分布式存储系统一般采用以下两种方式来分配存储空间。一种方式是按需分配，其仅根据要写入的数据的大小来分配足够的存储空间，而不保证数据在磁盘上的连续存储。另一种方式是服务器集中分配，其需要一个服务器完全负责磁盘空间的分配和管理，从而容易导致单点瓶颈问题，限制了系统的规模和吞吐量。

图1示出了一种现有的服务器集中分配的分布式存储系统100的示意图。图1所示的分布式存储系统中包括存储服务器端101和若干客户端105。该存储服务器端101包括预分配描述符管理模块102、写请求处理模块103以及ext3本地文件系统104。

图1所示的分布式存储系统100按照以下步骤来实现用户数据写入：客户端105向存储服务器端101发送针对某个目标文件的写请求；写请求处理模块103根据该写请求中所包含的信息，获取目标文件相关信息（例如文件名）并打开目标文件；预分配描述符管理模块102根据目标文件相关信息，为目标文件初始化一个块预分配描述符，并将该块预分配描述符缓存在存储服务器端101的内存中；存储服务器端101中的ext3本地文件系统104根据该块预分配描述符，为目标文件预留相应的数据块；存储服务器端101在完成对目标文件的写入操作之后关闭该目标文件；在存储服务器端101关闭目标文件之后，该目标文件的上述预分配描述符继续缓存在内存中。

然而，图1所示的分布式存储系统存在以下缺点。

(1)由于存储服务器端集中地负责磁盘空间的分配和管理，并且客户端直接向该服务器发起写请求，因此当存在很多客户端时或者当客户端的读写请求频繁时，会增加存储服务器端的负担（例如单点瓶颈问题）。

(2)存储服务器端在存储客户端的写请求时，不是立即将该数据写入磁盘，而是先将要写入同一数据对象的数据预先缓存在系统内存中，直到数据累积到一定长度或用户最后一次写请求时，才进行写入操作。由于系统内存的总量是有限的，系统的并发性不是很好，同时数据容易丢失。

(3)以文件为粒度进行存储，并且通常为需要存储的数据直接向存储服务器申请物理存储单元（block），而未基于条带化存储做优化。

发明内容

考虑到现有技术的上述缺点，本发明提供了用于在分布式存储系统中分配存储空间的技术方案（包括方法和装置等）。利用本发明的技术方案，可以在克服现有技术的上述缺点的基础上，保证用户访问相关性大的数据连续存储并改善分布式系统中随机存储的读写性能问题。

在一个方面，本发明提供了一种于在分布式存储系统中分配存储空间的方法。该方法包括步骤：接收针对文件的数据写请求，所述数据写请求包含要写入一个或多个存储设备的数据，其中，所述一个或多个存储设备是由存储设备服务器来管理的；确定是否需要为所述数据的至少一部分分配空闲存储空间；如果确定需要为所述数据的所述至少一部分分配空闲存储空间，则向所述存储设备服务器申请空闲逻辑管理单元chunk，申请得到的空闲chunk包含的存储空间不小于存储所述数据的所述至少一部分所需的存储空间；向所述存储设备服务器发起写请求，以将所述数据的所述至少一部分写入所述一个或多个存储设备。