[发明专利]一种基于HDFS的批量小文件处理系统

权利要求书

1.一种基于HDFS的批量小文件处理系统，其特征在于，包括Client端、负责大文件元数据处理的NameNode模块以及负责中小文件元数据存储管理的Redis集群，其中：

(1)Client是整个HDFS系统数据读写的入口，负责管理文件系统的基本信息、向HDFS和Redis发送读写请求、提交MapReduce作业等。

(2)负责大文件元数据处理的NameNode模块当有大文件写入请求时，Client向NameNode发送写请求；NameNode检查Client权限、文件合法性之后向Client返回Block信息以及对应的DataNode节点，并记录日志信息；Client会直接与某台DataNode建立通道，将第一个数据块写入DataNode；该数据块会以流形式一次传输到返回的每个DataNode节点上；每个DataNode节点接收完数据块之后，会向上一级DataNode发送接收确认状态；当所有DataNode节点成功保存数据块后，第一个DataNode节点会向Client发送该块已经全部写入成功的状态；Client会向NameNode返回写入状态，如果还有剩余数据块，则继续向NameNode发送写请求，直到文件切分的所有数据块都成功写入；当达到合并条件后，SecondaryNameNode会向NameNode请求合并FSImage文件和日志文件；NameNode与SecondaryNameNode建立连接，进行文件的远程合并操作；

(3)负责中小文件元数据存储管理的Redis集群主要用来接收并处理来自Client端的中小文件读写请求，并管理中小文件的所有元数据信息，该模块直接部署在DataNode集群上，无需增加新的服务器，使得DataNode在数据存储之外也有请求处理的能力，分担NameNode内存压力和海量文件高延迟并发压力。