[发明专利]分布式小文件存储系统

权利要求书

1.分布式小文件存储系统，其特征在于：包括采用Master-Slave架构部署的MasterNode节点和多个DataNode节点；

所述MasterNode节点用于操作和管理文件目录树，以及管理DataNode节点；所述DataNode节点用于存储文件目录树中记载的文件数据；所述文件目录树存储在redis数据库集群中，所述MasterNode节点对文件目录树进行操作时，从redis数据库集群中获取文件目录树。

2.按照权利要求1所述的分布式小文件存储系统，其特征在于：还包括SecondaryMasterNode节点，所述SecondaryMasterNode节点中维护有与MasterNode节点中相同的文件目录树；所述MasterNode节点对文件目录树的操作会同步SecondaryMasterNode节点；当SecondaryMasterNode对文件目录树同步操作后，将文件目录树同步到redis数据库集群中。

3.按照权利要求2所述的分布式小文件存储系统，其特征在于：所述MasterNode节点对文件目录树的操作会产生editslog日志文件；每间隔T时间，所述SecondaryMasterNode节点对文件目录树进行备份操作，备份得到的fsimage文件同步给MasterNode节点，MasterNode节点清除在fsimage文件生成之前时间内的editslog日志文件。

4.按照权利要求3所述的分布式小文件存储系统，其特征在于：所述MasterNode节点对文件目录树的操作包括对文件目录树增加数据操作、删除数据操作、查询数据操作和/或修改数据操作。

5.按照权利要求1、2或3所述的分布式小文件存储系统，其特征在于：多个所述DataNode节点互相之间通过gRPC协议保持通信。

6.按照权利要求1、2或3所述的分布式小文件存储系统，其特征在于：每个所述DataNode节点通过gRPC协议发送心跳包给MasterNode报告自身状态。

7.按照权利要求1、2或3所述的分布式小文件存储系统，其特征在于：还包括客户端，用于供用户访问MasterNode节点对文件目录树进行操作，以及向DataNode节点上传文件和/或从DataNode节点读取文件。

8.按照权利要求7所述的分布式小文件存储系统，其特征在于：所述客户端向DataNode节点上传文件，包括以下步骤：

步骤1、客户端向MasterNode节点发送上传文件请求；

步骤2、MasterNode节点对文件目录树进行查询，判断文件目录树中是否已记载有所述上传文件的ID，若已记载，则向客户端返回“是否覆盖写入文件”，若是，则进入下一步；若未记载，则进入下一步；

步骤3、MasterNode查询DataNode列表信息，按照网络距离返回距离最近可以进行文件上传的DataNode节点位置；所述网络距离是客户端距离DataNode的通信距离；

步骤4、客户端与返回的DataNode节点建立pipeline请求，pipeline请求建立后，客户端通过SocketStream以流式数据上传文件至DataNode节点。

9.按照权利要求8所述的分布式小文件存储系统，其特征在于：还包括：

步骤5、所述DataNode节点在接受到数据时，以IO流的形式将数据写入文件中，同时以SocketStream流的方式将数据同步至备份DataNode节点；

步骤6、DataNode节点将数据写入完成之后向MasterNode节点和客户端返回文件写入成功。

10.按照权利要求7所述的分布式小文件存储系统，其特征在于：所述客户端从DataNode节点读取文件，包括以下步骤：

步骤a、客户端向MasterNode节点发送请求读取文件的文件名；

步骤b、MasterNode节点根据文件名检索文件所在的位置；

步骤c、MasterNode节点按照网络距离返回文件所在的位置给客户端；所述网络距离是客户端距离DataNode的通信距离；

步骤d、客户端根据返回的文件位置去DataNode读取文件。