[发明专利]一种基于布谷鸟算法的农业光谱混合存储系统缓存替换算法

说明书

本发明公开了一种基于布谷鸟算法的农业光谱数据缓存替换算法。近年来海量增长得农业光谱数据数据的对存储系统带来巨大挑战。单一的存储介质如HDD(Hard Disk Drive，HDD)或SSD(Solid State Drive，SSD)由于其固有物理特性限制，并不能满足实际需求，将SSD和HDD混合使用的存储架构是一种可行的解决方案，这样管理农业光谱数据的混合存储的缓存替换策略就成为存储性能提升的关键。我们推出一种基于计数布谷鸟过滤器热探测方案(Count Cuckoo Filter Hot‑probe Method，CCF)具有非常好的空间和时间效率，且支持删除功能。通过将CCF和自适应两级LRU(Least Recently Used，LRU)相结合，形成CCF‑LRU缓存替换策略，该策略利用CCF识别热数据，利用自适应两级LRU管理缓存。实验结果表明，结合热探针方案的缓存替换策略与传统策略相比，能显著提高缓存命中率。CCF‑LRU相比其他结合热探针方案的缓存替换策略，时间复杂度和空间复杂度更小，命中率更高。

技术领域

本发明涉及农业光谱数据混合存储系统，通用基于布谷鸟算法，结合LRU缓存替换算法，提出一种基于计数布谷鸟过滤器热探测方案的混合存储缓存替换策略，已降低时间复杂度和空间复杂度，提高农业光谱混合存储系统缓存命中率。

背景技术

随着5G、大数据、物联网农业等新技术的快速发展和应用，数据产生的规模和速度呈现指数式增长。海量增长得数据给存储系统带来巨大挑战，作为数据主要存储介质HDD(Hard Disk Drive，HDD)由于其固有的物理特性限制，性能提升已经遇到瓶颈。SSD(SolidState Drive，SSD)是一种新型存储介质，其读写性能大大优于HDD，但SSD的单位成本要远远高于 HDD。用SSD完全替换HDD的成本开销是十分昂贵。因此，采用SSD和HDD构建混合存储系统，是一种兼顾性能与成本的优秀方案。

SSD-HDD混合存储系统一般将SSD作为HDD的缓存，利用SSD的高性能和HDD低成本大容量的特点，为用户提供高性能、大容量的存储系统。由于SSD价格较高，所以SSD存储空间有限，这样管理混合存储的缓存替换策略就成为性能提升的关键。性能较好的混合存储缓存替换策略，都会考虑数据的访问频率，以确定这个数据是冷数据还是热数据，根据冷、热不同替换代价，设计最优的缓存替换策略。因此，判定一个数据冷、热的热探测(或冷探测) 是核心技术。

本专利基于布谷鸟过滤器，提出一种计数布谷鸟过滤器热探测方案。并将CCF和自适应两级LRU相结合，形成CCF-LRU缓存替换策略。该策略利用CCF识别热数据，利用自适应两级LRU管理缓存。实验结果表明，结合热探针方案的缓存替换策略与传统策略相比，能显著提高缓存命中率。CCF-LRU相比其他结合热探针方案的缓存替换策略，时间复杂度和空间复杂度更小，命中率更高。

发明内容

本专利描述的农业光谱混合存储系统，SSD是作为介于HDD和内存之间的缓存，SSD存储的是HDD中的数据副本，图6描述系统主要组件之间的关系和数据交互路径。黑色箭头表示数据流动路径，当内存发出读请求时，CCF-LRU判断SSD是否命中，如果命中则从SSD中读取数据，如未命中则从HDD中读取数据，并复制一个副本给SSD。当内存发出写请求时，则先写入SSD，然后延迟写回HDD。

本专利将CCF和自适应两级LRU相结合，形成CCF-LRU策略，该策略利用CCF识别热数据，利用自适应两级LRU管理缓存。如图4所示，CCF-LRU维护冷和热两级LRU链，热链用于存储热数据，冷链用于存储冷数据。热链的尾端和冷链的首端相连，热链中被驱逐的数据，插入冷链首端。