[发明专利]基于ARC替换算法的HDFS小文件缓存管理方法

权利要求书

1.基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：首先在数据节点上使用tmpfs构建数据缓存区，在Namenode端集成两个模块：判断模块和决策模块，在Datanode集成一个执行模块，当需要缓存小文件数据块时，Namenode将与数据块存储的Datanode进行通信，并发出指令将数据块缓存在数据节点的高速缓存中，将判断模块、决策模块和执行模块作为三个阶段对小文件进行缓存替换操作。

2.根据权利要求1所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：所述判断模块首先判断请求信息类型，如果是访问请求，再判断访问文件大小是否小于阈值Tf，如果是，则将该文件视为小文件，并使用决策模块的ARC缓存替换算法进行处理，否则不做缓存处理；如果是创建、删除信息，将直接交给执行模块处理。

3.根据权利要求1所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：在文件的访问过程中，所请求小文件如果存储在缓存中，即为缓存命中，否则未能命中，然后根据访问情况及缓存空间使用情况按照ARC算法进行文件的缓存替换操作。

4.根据权利要求2或3所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：所述决策模块使用一个缓存列表来管理缓存区的文件，并根据缓存列表来选择要替换的缓存文件对象，再由执行模块按照决策模块的指令进行文件缓存替换操作。

5.根据权利要求1所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：缓存管理方法可分为客户端、名字节点和数据节点三个部分，客户端通过RPC协议分别与名字节点和数据节点进行通信，完成对数据的访问操作。

6.根据权利要求5所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：当客户端向集群提交I/O请求后，Namenode可将请求分为三种类型：访问请求、创建请求和删除请求。

7.根据权利要求6所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：当客户端向集群中的名字节点申请访问数据时，包括以下3个步骤：

1)名字节点获得待访问的数据文件信息，判断该文件是否位于缓存中；

2)若该文件已缓存，那么直接读取数据节点上缓存的文件数据，并使用ARC算法更新缓存管理，此时为一次缓存命中，缓存中的数据将提供访问请求服务；

3)若该文件不在缓存列表中，此时缓存未能命中，读取数据节点磁盘上的文件数据；然后判断是否可以缓存该文件，其中缓存条件为访问文件大小小于阈值Tf；当缓存存储空间不足时使用ARC缓存替换算法将访问频率低的文件数据块从缓存中移除，确保新访问的文件数据块存储在缓存中。

8.根据权利要求6所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：当客户端向集群中的名字节点申请创建文件时，判断创建的文件是否已经存在HDFS中，是继续判断该文件是否存在于数据节点的缓存中，是则将新创建的文件数据块替换位于缓存和磁盘中旧的文件数据块，否则替换磁盘上的文件数据块；如果创建的文件不存在HDFS中，则将文件数据块放置在磁盘上。

9.根据权利要求6所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：当客户端向集群中的名字节点申请删除文件时，判断删除的文件是否存在数据节点的缓存中时，是则删除缓存和磁盘中的文件数据块；否则，删除位于磁盘上的文件数据块。

10.根据权利要求6所述的基于ARC替换算法的HDFS小文件缓存管理方法，其特征在于：客户端与名字节点进行RPC通信，并将客户端维护的缓存列表与名字节点记录的缓存数据项进行比较，如果不一致，则删除多余的缓存数据项。