[发明专利]一种基于Hadoop的海量小文件缓存方法

说明书

本发明公开了一种基于Hadoop的海量小文件缓存方法，该方法包括：获取用户访问日志记录，并从用户访问日志记录中统计得出活跃用户集；结合对数线性模型，计算出活跃用户集中每个活跃用户访问过的文件的热度预测值，并按照热度预测值由大到小将各文件进行排序，将排名前20％的文件标记为热点文件；获取所述热点文件，并采用Hbase数据库缓存所述热点文件的相关信息。采用本发明技术方案能提高缓存的命中率，加快文件的读取效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Hadoop的海量小文件缓存方法。

背景技术

Hadoop是Apache基金会在2005年作为Lucene的子项目Nutch中的一部分正式引入。Hadoop最关键的两大设计HDFS和MapReduce。而HDFS负责存储海量的数据，文件以数据块的形式存储在系统上。而HDFS的数据块比普通磁盘定义的数据块(一般是512B)大得多，HDFS目前默认的数据块大小是128MB。如果HDFS存储的文件大小大于128MB，它会将该文件切分成块大小的若干个分块，分开单独存储。而当HDFS不断的存储小文件量达到TB甚至PB级别时，小文件的问题就会产生，这是因为会有大量的元数据存储在HDFS的主节点namenode中，大大增加namenode的负载，从而会影响到系统的读取性能。其中，小文件的大小定义为2MB，即在HDFS存储文件中，当文件大小小于或等于2M，即被定义为小文件。

为了提高文件的读取效率，HDFS引入了缓存机制，而现有的缓存策略是：当用户读取某个文件时，与该文件相关的文件以及索引文件都会被加载到内存。该策略能提高文件的读取效率的前提是用户访问命中内存里的文件。但是其没有考虑到该文件集是否被频繁访问，即该文件集是否属于热门数据。现有技术的其他缓存方法也没有从热门数据的方面考虑，如果耗费大量的内存来缓存用户不经常访问的文件，不仅不能提高文件的读取效率，反而影响了整个文件系统的性能。

发明内容

本发明实施例提出一种基于Hadoop的海量小文件缓存方法，通过HBase缓存热度文件，不仅提高了缓存的命中率，而且加快了文件的读取效率。

本发明实施例提供一种基于Hadoop的海量小文件缓存方法，包括：

获取用户访问日志记录，并从所述用户访问日志记录中统计得出活跃用户集；

结合对数线性模型，计算出所述活跃用户集中每个活跃用户访问过的文件的热度预测值，并按照热度预测值由大到小将各文件进行排序，将排名前20％的文件标记为热点文件；

获取所述热点文件，并采用Hbase数据库缓存所述热点文件的相关信息。

进一步的，所述从所述用户访问日志记录中统计得出活跃用户集，具体为：

筛选出所述用户访问日志记录中访问资源后缀名以jpg结尾的记录行；其中，所述记录行包括：用户IP、访问页面URL、访问起始时间、访问状态、访问流量；

编写日志解析类对所述记录行进行解析，并使用一个二维数组来存储访问者IP和小文件名；

遍历所述二维数组中的访问者IP，并使用HashMap集合统计每一个访问者IP访问量；所述HashMap集合的Key值为访问者IP，Value值是访问量；

对所述HashMap集合按照Value值来进行降序排序，筛选出排名靠前20％的访问者IP，使用ArrayList集合存储该IP子集，并标记为活跃用户集。

进一步的，所述结合对数线性模型，计算出所述活跃用户集中每个活跃用户访问过的文件的热度预测值，并按照热度预测值由大到小将各文件进行排序，将排名前20％的文件标记为热点文件，具体为：

将从所述ArrayList集合提取出的访问者IP，与从所述二维数组中提取出访问者IP进行匹配；