[发明专利]一种大数据快速读取的DLK方法

说明书

本发明涉及一种大数据快速读取的DLK方法，其特征在于，缓存空间内存储的缓存基本单位为Data,Timestamp,K，将缓存空间划分为数据区及列表区，数据区用于存储Data，列表区用于存储Timestamp及K。本发明提出的分布式存储模式的面向记录的缓存方法，可以有效的提升分布式存储模式中的面向记录的检索效率，该方法优化了面向记录的检索速率，使用双队列的结构缓存高频和低频的缓存数据提升了缓存的命中率。在缓存空间中，划分了数据区和列表区，进一步优化了缓存的查询和异步执行效率。从优化算法提高命中率和优化数据存储结构提升执行效率两个方面提升了分布式存储模式的检索性能。

技术领域

本发明涉及一种大数据缓存的快速读取方法，属于大数据技术领域。

背景技术

缓存被广泛应用到操作系统、CPU、数据库、CDN等领域，大量的学者针对置换算法进行了研究，基于经典的置换算法进行了不同的改进。LRU-K算法在LRU的基础上增加了一个访问历史队列，这个队列不缓存数据，仅存储数据的访问历史记录。在一定的周期内，某一数据在访问历史队列中出现的次数达到K次时，将该数据放入缓存中。Johnson等提出的2Q算法是基于两个LRU缓存队列实现的，当数据在一定的周期内第一次被访问时，缓存到第一个缓存队列，当第一个缓存队列中的数据第2次被访问时，将该数据从第一个缓存队列移到第二个缓存队列。Zhou等提出MQ算法使用多个LRU缓存队列存储缓存数据，当前缓存队列中的数据访问次数达到2次时，将缓存数据移至下一级缓存队列，如此往复，直到数据进入最后一级缓存队列。ARC算法是一种动态的缓存算法，它使用了两个LRU队列L1和L2进行数据的缓存，但是这两个队列的容量是动态变化的，与L1和L2一一对应的是两个访问历史队列H1和H2。Hongbin Tsai等提出了一种时间偏移LRU(Time-shift least recently used)算法——TSLRU。TSLRU使用FIFO队列和最小堆(min heap)两种数据结构，FIFO队列存储最近访问的数据，最小堆存储再次被访问的缓存数据。Sai Huang等提出了一种基于SSD的动态缓存算法LARC。

在分布式环境中，学者也进行了广泛的研究。如Ge Wei等提出的HiBase中建立了基于分布式内存的索引热点数据缓存替换策略和技术，对索引数据进行缓存，提升索引查询效率。其缓存实现的主要思想是当缓存空间未满时，采用“访问即插入”的策略，使得缓存空间得到充分利用；当缓存空间已满，需要执行置换操作时，通过数据的访问频率并结合热度衰减系数对每一条数据进行累积热度评分，将累积热度评分较低的数据淘汰，移出缓存。但是该算法在数据访问频率差不多的环境下，换入换出的操作会急剧增加，导致命中率下降。Jing Zhang等提出了一种面向实时云服务的缓存系统，在Hadoop的分布式文件系统的上层增加了基于LRU算法的分布式缓存层，对文件进行缓存。其缓存系统仍具有LRU不关注数据访问频率的缺点。

在大数据的挖掘分析中，数据通常具有冷热分布的特征：20％的数据在检索过程中会被频繁访问，剩下的80％数据较少被访问。为了提高数据的查询检索性能，减少磁盘的I/O操作，数据存储时普遍对热数据建立副本并存储在内存中，这些内存中的副本数据被称为缓存。分布式存储模式中BigTable，HBase等都提供了针对文件块的缓存。以HBase为例，它使用本地文件系统或者Hadoop的HDFS作为存储支撑，将文件的文件块(block)缓存进BlockCache中提升检索效率。

在物理存储中，文件分为若干个文件块进行存储，文件块缓存将文件块作为缓存的最小单位，在缓存层与物理存储层使用相同的物理结构进行存储，减小了不必要的文件转换操作。但是，在大数据挖掘分析中，对数据的查询检索通常是针对记录的、分散随机的。文件块的缓存在顺序读的环境下能带来较高的命中率，对查询检索的效率有明显的提升；但在分散的、随机的读取环境下基于文件块的缓存策略并不是高效的、最适用的缓存策略。

发明内容

本发明的目的是：提高缓存命中率及置换速度。