[发明专利]一种文件条带化写入方法、装置及系统

说明书

技术领域

本发明涉及文件系统领域，特别是一种文件的条带化写入方法、装置及系统。

背景技术

由于互联网应用的不断发展，特别是虚拟化云计算的兴起，已经开创了一个新的计算模式。为了响应这种发展，被共享的数据的大小也大大增长。用户不光要处理标准的HTML(Hypertext Markup Language)文档，还会访问其它各种数据，例如音频数据、视频数据、游戏数据等等。这样就需要有能够容纳大数据的数据存储，并且同时还能对数据进行高速、可靠的访问。

本地文件系统由于单个节点本身的局限性，已经很难满足海量数据存取的需要了，因而不得不借助分布式文件系统(分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于物理机/服务器模式)，把系统负载转移到多个节点上。通常情况下，在分布式文件系统中，读写一个文件只会经过一个存储服务器，而当该文件比较大时，其读写速度与吞吐量，会受限于这单台存储服务器的计算能力。

为了解决上述问题，引入了条带化技术。条带化技术重新组织数据，它让数据分片在多台存储服务器上，以便并行存取。这样，对于大文件的读写，会同时利用多台存储服务器的能力，提高文件的读写速度与吞吐量。然而，条带化无法对小文件(小于一个条带化片大小，一般为128k)进行分片存取，所以针对大量小文件的场景，其改进效果甚微，一般不采用条带化技术。

云计算提供了诸如低能耗、高利用率、安全、方便、共享等优点，它必须具备两大基础技术——虚拟化和数据中心自动化，即虚拟化集群技术。虚拟化集群中，同时存在大量大文件，例如镜像文件(大小在10G以上)和大量小文件，例如配置文件(几K～几十K)等。为了提高镜像文件的读写速度，分布式文件系统需要开启条带化，按序从某个(例如第一个)存储服务器开始分条带片存取。但此时，小于一个条带化片的小文件，却都只会放在某个(例如第一个)存储服务器中。在虚拟化集群的桌面办公场景下，一般会在固定的时间点，同时启动或者关闭大量虚拟机(Virtual Machine，VM)。如果启用条带化技术，虚拟机的配置文件都会放在某个(例如第一个)存储服务器上，如果同时启动或关闭大量虚拟机，某个存储服务器的IO操作会异常频繁，进而成为系统瓶颈。

目前有两种主流的分布式存储方案，第一种以Glusterfs和CLVM(Clustered Logical Volume Manager)为代表的存储方案，它们均采用条带化分片存储，文件被划分为固定长度的数据分片，以轮转(Round-Robin)方式存储在所有的存储服务器上，但是该存储方案主要针对大文件存储场景设计，存在如下缺点：在虚拟化集群场景下，同时存在大量大文件和大量小文件，小文件会堆积在第一个存储服务器上，例如同时启动和关闭虚拟机时，第一个存储服务器会成为IO瓶颈，甚至影响整个集群系统。第二种是以DCFS3(Dawning cluster File system v3)和PVFS(Parallel Virtual File System)为代表的存储方案，它们也采用条带化分片存储，文件被划分为固定长度的数据分片，以轮转(Round-Robin)方式存储在一组存储服务器上，但是和第一种方案一样，无法解决IO操作频繁的小文件造成的存储服务器瓶颈问题。

发明内容

本发明实施例提供一种分布式文件系统的写入方法、装置以及一种分布式文件系统，有效解决虚拟化集群等环境下存储服务器因IO压力过大而造成的系统性能瓶颈问题。

为此，本发明实施例提供如下技术方案：

本发明实施例提供一种文件条带化写入方法，所述方法应用于包括多个存储服务器的分布式文件系统中，所述方法包括：

获取所述文件的写入数据大小；

当所述文件是输入输出IO操作频繁的文件，且所述文件的写入数据大小小于或者等于文件条带化片大小时，从所述多个存储服务器中选取当前IO压力最小的存储服务器，或者从所述多个存储服务器中随机选取一个存储服务器；

以当前IO压力最小的存储服务器，或者随机选取的一个存储服务器作为文件条带化的初始位置，将所述文件条带化写入所述存储服务器。

本发明实施例还提供一种终端，其特征在于，所述装置应用于包括多个存储服务器的分布式文件系统中，所述装置包括：

文件写入数据获取单元，用于获取所述文件的写入数据大小；