[发明专利]一种基于HDFS的批量小文件处理系统

说明书

本发明提供一种基于HDFS的批量小文件处理系统，包括Client端、负责大文件元数据处理的NameNode模块以及负责中小文件元数据存储管理的Redis集群，Client是整个HDFS系统数据读写的入口，负责大文件元数据处理的NameNode模块当有大文件写入请求时，Client向NameNode发送写请求；负责中小文件元数据存储管理的Redis集群主要用来接收并处理来自Client端的中小文件读写请求，并管理中小文件的所有元数据信息。

技术领域

本发明涉及大数据技术及分布式存储技术领域，具体涉及一种基于HDFS的批量小文件处理系统。

背景技术

作为大数据存储行业的领头者，HDFS在处理TB、PB规模级别的数据时性能表现良好、应用场景广泛，然而，在处理大批量的小文件时性能表现不佳，主要表现在HDFS在处理海量数据时NameNode节点的内存消耗很大、处理多并发请求时访问延迟高等问题。

针对批量小文件处理时存在的问题，HDFS在0.18.0版本之后提出了一个打包工具HAR，其设计初衷就是为了缓减大量小文件的元数据信息消耗内存过多的问题，用户可以直接通过这个归档工具将某个HDFS目录打包成一个HAR文件。HDFS自带的HAR方案确实可以减少HDFS中文件的数量，降低了NameNode中数据块的分配与管理压力和内存消耗。但是HAR引入的双重索引机制对于NameNode是一个额外的开销，尤其是当用户请求量较大或者文件数量过大的时候，会造成NameNode请求处理的高延迟。

发明内容

本发明的目的是提出一种新的HDFS处理批量小文件的系统，在降低HDFS中数据块数目的同时，将NameNode权限下放一部分到DataNode节点上，在DataNode节点上部署Redis集群，借助于Redis来处理部分客户端读写请求，进而缓解NameNode压力。

本发明的技术方案如下：

一种基于HDFS的批量小文件处理系统，其特征在于，包括Client端、负责大文件元数据处理的NameNode模块以及负责中小文件元数据存储管理的Redis集群，其中：

(1)Client是整个HDFS系统数据读写的入口，负责管理文件系统的基本信息、向HDFS和Redis发送读写请求、提交MapReduce作业等。

(2)负责大文件元数据处理的NameNode模块当有大文件写入请求时，Client向NameNode发送写请求；NameNode检查Client权限、文件合法性之后向Client返回Block信息以及对应的DataNode节点，并记录日志信息；Client会直接与某台DataNode建立通道，将第一个数据块写入DataNode；该数据块会以流形式一次传输到返回的每个DataNode节点上；每个DataNode节点接收完数据块之后，会向上一级DataNode发送接收确认状态；当所有DataNode节点成功保存数据块后，第一个DataNode节点会向Client发送该块已经全部写入成功的状态；Client会向NameNode返回写入状态，如果还有剩余数据块，则继续向NameNode发送写请求，直到文件切分的所有数据块都成功写入；当达到合并条件后，SecondaryNameNode会向NameNode请求合并FSImage文件和日志文件；NameNode与SecondaryNameNode建立连接，进行文件的远程合并操作；

(3)负责中小文件元数据存储管理的Redis集群主要用来接收并处理来自Client端的中小文件读写请求，并管理中小文件的所有元数据信息，该模块直接部署在DataNode集群上，无需增加新的服务器，使得DataNode在数据存储之外也有请求处理的能力，分担NameNode内存压力和海量文件高延迟并发压力。