[发明专利]一种云存储中小文件的合并方法及装置

说明书

技术领域

本发明涉及数据存储技术领域，特别涉及一种云存储中小文件的合并方法及装置。

背景技术

随着现代社会科技的发展，云存储作为一种新兴的网络存储技术已经广泛应用到人们的生活中。HDFS(Hadoop distributed file system)是一种具有高度容错性质的分布式文件系统模型，可以部署在支持JAVA运行环境的普通机器或虚拟机上，能够提供高吞吐量的数据访问，非常适合部署云存储平台。

HDFS采用主从式架构设计模式(master/slave architecture)，一个名称节点(Name Node)和若干数据节点(Data Node)构成HDFS集群。HDFS的这种单名称节点的设计极大地简化了文件系统的结构，然而也因此引发了HDFS的小文件存储效率低的问题。

现有技术中，解决如基于HDFS的存储系统的云存储中小文件存储效率问题的主流思想是将小文件合并或组合为大文件，目前主要的方法分为2种，一种是利用Hadoop归档(Hadoop archive，HAR)等技术实现小文件合并的方法，另一种则是针对具体的应用而提出的文件组合方法。这两种方法都是基于文件的合并或组合来解决小文件存储效率不高的问题，然而这两种方法均存在以下问题：未考虑云存储系统的负载状况，云存储作为一个完整的系统，在提高小文件存储效率的同时，也应该考虑到系统的负载状况，因为不管是文件合并还是文件组合，对与如HDFS的云存储系统而言都是一个额外的操作；并且未对小文件合并规模进行研究，即尚未确定多少个小文件合并为一个大文件可以使系统性能达到最优。因此，如何根据云存储系统的负载状况，对达到一定规模小文件进行合并，实现云存储系统的负载均衡，优化小文件存储效率，是现今急需解决的问题。

发明内容

本发明的目的是提供一种云存储中小文件的合并方法及装置，以采用序列文件技术将小文件合并为大文件，并利用系统负载预测算法实现系统的负载均衡，优化小文件存储效率。

为解决上述技术问题，本发明提供一种云存储中小文件的合并方法，包括：

接收SFQ发送的队列满信号；

通过系统负载预测算法计算系统的负载；

判断所述负载是否小于第一阈值；

若否，则将当前时刻的所述SFQ存储的小文件的索引号存储至对应的一个BQ；其中，每个BQ存储各自对应的一个时刻的所述SFQ的索引号；

若是，则合并所述SFQ存储的索引号对应的小文件，或合并所述SFQ和全部BQ各自存储的索引号对应的小文件。

可选的，所述将当前时刻的所述SFQ存储的小文件的索引号存储至对应的一个BQ，包括：

判断已存储索引号的BQ是否达到预设数量；

若是，则合并所述SFQ和全部BQ各自存储的索引号对应的小文件；

若否，则将当前时刻的所述SFQ存储的索引号存储至对应的一个BQ。

可选的，所述接收SFQ发送的队列满信号之前，还包括：

基于序列文件技术，将用户上传的小文件的所述索引号存储至所述SFQ；

所述SFQ存储的所述索引号的数量达到第二阈值时，发送所述队列满信号。

可选的，所述通过系统负载预测算法计算系统的负载，包括：

通过基于层次分析法的系统负载预测算法计算所述负载。

可选的，所述接收SFQ发送的队列满信号，包括：

识别接收到的信号；其中，所述信号包括所述队列满信号和定时器发送的时间到信号；

若所述信号为所述队列满信号，则执行所述通过系统负载预测算法计算系统的负载的步骤；

若所述信号为所述时间到信号，则通过所述系统负载预测算法计算所述负载；

判断所述负载是否小于所述第一阈值；

若所述负载小于所述第一阈值，则合并全部BQ各自存储的索引号对应的小文件。

可选的，所述识别接收到的信号之前，还包括：

所述定时器按预设时间间隔发送所述时间到信号。

此外，本发明还提供了一种云存储中小文件的合并装置，包括：

接收模块，用于接收SFQ发送的队列满信号；

计算模块，用于通过系统负载预测算法计算系统的负载；

判断模块，用于判断所述负载是否小于第一阈值；

存储模块，用于当所述负载不小于所述第一阈值时，将当前时刻的所述SFQ存储的小文件的索引号存储至对应的一个BQ；其中，每个BQ存储各自对应的一个时刻的所述SFQ的索引号；