[发明专利]一种基于热点数据上流的云平台键值存储数据编排方法

说明书

本发明公开了一种基于热点数据上流的云平台键值存储数据编排方法。该方法首先定义了一个实时跟踪时间窗口中键值数据的近似数据结构；然后，通过该数据结构得以实时获取键值数据最新的访问频次和时刻；随后，根据数据访问频次和时刻信息得到数据热度模型，从而实时感知键值数据的热度；紧接着，统计出各个热度的数据量，形成数据热度表，依据数据热度表能够得到每个数据的热度排名；最后，根据数据热度表对云平台键值存储数据进行数据编排，实现数据的自动预热。本发明可以从键值数据云平台中的数据访问模式出发，跟踪键值数据的访问频次和时间节点，从而构建一个键值数据热度表，以实现键值存储数据的自动预热。

技术领域

本发明涉及键值存储系统和大数据云计算领域，尤其涉及一种基于热点数据上流的云平台键值存储数据编排方法。

背景技术

云计算作为一种支撑上层众多行业应用运行的新型信息化基础设施服务，正越来越收受到行业重视。随着云计算技术的不断更迭演进，云原生技术因其轻量级、细粒度、高弹性等特点正被逐步推广使用。不同于传统云计算，云原生将资源分配和任务调度下降到了容器级别，能极大提升云计算的计算效率，也被众多的云厂商列为下一代的云计算的关键技术。云平台上的键值存储系统处于当前键值存储系统研究的前沿。

现代云平台键值储存系统通常采用日志结构归并树(Log Structured MergeTree，简称LSM-tree)存储引擎。在LSM-tree存储引擎出现之前，最广为使用的是基于B+树的存储引擎，但此类存储引擎随机读写频繁，在HDD等硬件设备上表现不好。相比之下，基于LSM-tree的存储引擎将随机读写转化为顺序读写，能更有效地利用磁盘的IO带宽，因此近年来被大量键值查询系统，包括LevelDB、RocksDB、ScyllaDB、Cassandra等流行的键值数据库采用。

然而，基于LSM-tree的存储引擎是针对写操作进行优化的，在读频繁的场景性能表现较差，其读性能有待进一步优化。基于LSM-tree的存储引擎其写入流程包含如下步骤：

(1)用户发起写入请求Put(key,value)；

(2)存储引擎首先将此键值对key,value持久化到预写日志Log中；

(3)接着将此键值对写入内存中的写缓存区MemTable中；

(4)如上述步骤成功，则用户的写入请求成功完成；

值得注意的是，在第2)步中，存储引擎会优先将数据写入到磁盘里的预写日志中。这一步虽然会引入一次磁盘IO，但它增强了存储引擎的容错能力，能防止内存中的写缓存区在数据未持久化到磁盘前因为宕机等原因永久性丢失数据。

以上步骤分析了从用户发起写入请求到请入请求完成的中间流程。事实上，基于LSM-tree的存储引擎还存在两类关键的后台进程整理排序内存和磁盘中的数据：Flush和Compaction。

Flush过程负责将内存中的写缓存数据持久化到磁盘。当内存中的写缓存区MemTable被占满后，它会转化为不可变更的只读型数据结构ImmutableTable。随后，ImmutableTable中的数据将会在合适的时机被后台进程持久到磁盘，转化为磁盘中的基本数据单元SST。

Compaction过程负责整理排序磁盘中的多个SST。当某一层的容量超过了设定的阈值时，就会启动Compaction过程。它会根据某种策略从这一层中选择一个SST压入下一层。为了保持每一层的有序性，还会从下一层选择与此SST存在重叠的SST一起参与Compaction过程。这些输入文件会在内存中按键排序后重新写入到新的SST中，这个过程类似于对多个有序表的归并排序过程。

LSM-tree的写优化特性，其实是以一定的读性能损失作为代价换取的。基于LSM-tree的存储引擎其读取流程包含如下步骤：

(1)用户发起读取请求Get(key)；