[发明专利]一种分布式文件存储系统中的数据处理方法及设备

说明书

技术领域

本发明涉及存储技术领域，尤其涉及一种分布式文件存储系统中的数据处理方法及设备。

背景技术

随着计算机技术、网络技术的发展及人类生活的信息化，用户对存储系统存储容量的需求越来越大，对存储系统性能的要求也越来越高。存储系统亦由计算机自带存储器发展到存储阵列、网络附加存储（Network Attached Storage，NAS）等独立存储系统，再到大型的分布式文件存储系统。随着数字化程度的提高，存储对象也从结构化的数据为主转变为以图片、微视频等非结构化的文件数据为主。这样就对存储系统中文件数据的访问性能提出了更高的要求，提高大型的分布式文件存储系统的访问性能成为当前存储领域的首要任务。

在分布式文件存储系统中包含有多个存储服务器，多个存储服务器之间通过低延迟、高吞吐量的网络（例如IB网络、10G以太网）互连形成集群，构成一个大型的网络RAID（Redundant Array of Inexpensive Disks，独立冗余磁盘阵列），同时所有存储服务器同时对外提供数据读写服务。文件数据存储到分布式文件存储系统中时，利用跨节点的RAID算法（例如RAID5、RAID6或者RAIDZ），或前向纠错码（Erasure Code）算法等算法把文件数据条带化（Stripe），即将文件数据切分为多个数据条带块（Strip），并生成相应的校验条带块，然后将数据条带块和校验条带块存储到相应节点的存储服务器上。当读取存储的文件数据时，从存储服务器节点中读取一定数量的数据条带块和校验条带块后构造出用户需要读取的原始文件数据。

随着分布式文件存储系统中集群规模的增大，为了提高整个分布式文件存储系统的空间利用率，文件数据条带化时切分的数据条带块的数量也越来越多，读写操作时的磁盘IO和网络IO也相应增加。这样，文件数据条带化时切分的数据条带块数量也相应增加，在小文件场景下，会对分布式文件存储系统的访问性能造成较大的负担。

发明内容

有鉴于此，本发明要解决的技术问题是，如何提高小文件场景下分布式文件存储系统的访问性能。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的第一方面，提供一种应用于分布式文件存储系统的数据处理方法，所述方法包括：客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；根据所述实际条带块的数量N’确定对应的条带块并进行处理。

结合第一方面，在一种可能的实现方式中，

所述根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块数量N’具体为：若所述有效条带块的数量DSC小于或等于所述校验条带块的数量M，则所述目标文件的实际条带块的数量N’为所述校验条带块的数量M+1，即N’=M+1；若所述有效条带块的数量DSC大于所述校验条带块的数量M，则所述目标文件的实际条带块数量N’等于所述有效条带块的数量DSC,即N’=DSC。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，

所述校验条带块的数量M和数据条带块的数量N可以有多组，分别存储在对应的目录信息表中。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，

当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量N’确定对应的条带块并进行处理还包括：

对所述目标文件进行条带化处理，得到N’个实际条带块，并使用冗余算法生成M个校验条带块；

在所述N’个实际条带块和所述M个校验条带块中添加一致性标签信息和有效条带块的数量DSC信息；所述一致性标签信息可以为时间戳或者版本号；

将所述N’个实际条带块和所述M个校验条带块写到对应的存储服务器节点中。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，